神箭手云爬虫

神箭手软件免费版是一款由杭州快忆科技有限公司推出的爬虫软件，功能强大，基于该公司的平台能够快速准确地可视化选取的网页数据，用户可以统一导出数据，操作更加简单方便，有需要的朋友欢迎来体验！

神箭手云爬虫怎么样

大数据和人工智能的云操作系统，您可以在神箭手上快速开发大数据和ai应用，包括爬虫/机器学习/数据清洗/api接口等。神箭手封装了复杂的算法和分布式逻辑，提供简单灵活的开发接口；应用自动分布式部署和运行，可视化简单操作，弹性扩展计算和存储资源；统一可视化管理不同来源的数据，restful接口/webhook推送/graphql访问等高级功能让您无缝对接现有系统！

神箭手云爬虫好在哪

快速开发，降低开发成本；

提供标准的弹性云服务；

无缝对接您的现有系统；

数据实时精准/分布式处理。

使用教程

** 1、如何爬取数据 开启爬取之旅：打开神箭手官网或者客户端软件，输入“账户”和“密码”登录至控制台。 爬虫创建选择：既能从神箭云市场挑选合适爬虫直接使用，免费用户有免费使用权益，部分受限用户可先试用； 又能自行在线开发创建新爬虫。 爬虫精细设置：于爬虫设置页面，借助【功能设置】与【自定义设置】来设定文件云托管、代理ip种类以及爬取的具体方式和范围等，设置变更后需保存并重启爬虫方可生效。 启动爬虫流程：在爬虫总览页面点击【启动爬虫】按钮，可按需设置启动方式与定时运行，爬取速度受节点数影响，且系统会自动去除重复数据。 数据处理与导出：在爬虫结果页，可将数据导出至本地文件、发布至数据库/网站/邮箱/媒体等，还能设置webhook或用graphql接口查询数据。 爬虫更新操作：市场获取的爬虫若出现失效等情况需更新时，登录后操作，运行时要重启以应用新代码。 2、如何使用api接口 登录控制台：打开神箭手官网或者客户端软件，输入“账户”和“密码”完成登录进入控制台。 api接口来源：可从神箭云市场获取直接使用，其中免费api接口无调用次数限制； 也可自行在线开发新接口。 接口设置环节：在api设置页面进行调用白名单、代理ip种类和文件云托管等设置，设置改动后需保存再调用。 接口测试步骤：在测试工具页面输入【请求参数】，点击【开始测试】按钮查看返回数据情况。 接口调用方法：在调用代码页参照不同语言的示例代码，通过程序来调用api接口获取数据。 接口更新处理：从市场获取的api接口若有失效或升级情况，登录后更新，重新调用使新代码生效。 3、如何使用数据源 进入控制台：打开神箭手官网或者客户端软件，输入“账户”和“密码”登录控制台。 获取数据源途径：可在神箭云市场按需求选择数据源和规格获取，免费数据源可全部获取，收费的可先预览10条试用； 也能在后台创建新数据源。 数据预览方式：在数据源的数据页面，能查看全部数据或点击单条数据进行预览。 数据操作多样：在请求数据页面可用graphql接口查询数据； 发布数据页面可将数据发布到数据库/网站/邮箱/微信公众号等； 导出数据页面能把数据导出到本地文件。 数据源更新规则：市场获取的数据源会不定期更新，已有数据更新免费，新增数据需登录查看并支付获取。 4、如何发布数据 登录准备工作：打开神箭手官网或者客户端软件，输入“账户”和“密码”登录控制台。 发布插件准备：若要把数据发布到cms网站，需先在cms网站安装对应的发布插件。 发布项创建步骤：在发布数据页面新建发布项，设置好发布数据的地址和数据字段对应关系等，详细教程可点此查看。 手动发布操作：在数据页面选中数据，选择发布项后手动发布数据。 自动发布设置：在发布数据页面点击【自动发布】按钮，实现所有数据的自动发布。

常见问题

q: 如何复制应用

登录神箭手后，点击应用列表的复制应用。api接口应用不能复制

q: 节点是什么

节点是运行神箭手应用的最小计算单元；比如每个爬虫或者清洗应用的运行，都需要占用至少一个节点（定时休息的应用也需要占用节点）；运行一个应用的节点越多，速度越快；一个应用运行完成，其占用的节点也会被自动释放，可以用来运行其他应用。神箭手的节点包括普通节点和gpu节点，gpu节点主要适用于机器学习等需要极速运算的应用。

q: 如何开具发票

消费满300元即可免费开具发票，发票类目统一为 “软件服务费”。请在登录神箭手后的发票管理中申请，每周五统一处理和邮寄（金额达到1万元可免邮，否则统一是顺丰到付）

q: 如何签订服务合同

神箭手提供电子合同。购买服务后，可以在登录神箭手后的合同管理中下载。下载后可以点击自动生成带电子章的正式合同

q: 爬虫爬取的图片不能正常显示

这种一般是因为目标网站有图片防盗链，可以在爬虫设置里开启自动托管图片，将图片下载到云存储上。神箭手托管文件后会自动更新数据里的图片链接，这样图片就能正常显示了。点击此处了解如何开启托管和费用说明

q: 如何批量下载爬取的文件链接

可以在爬虫设置里开启自动托管文件，爬虫启动后会自动识别文件下载链接并下载到云存储上。点击此处了解如何使用和费用说明

q: 怎么查看爬取到数据的时间和网页链接

打开爬虫的 “爬取结果”，可以看到爬取时间和链接默认是不显示的。点击右上角的自定义列表项，在弹窗中勾选爬取时间和链接，这样就能在爬取结果中显示出来了

神箭手云爬虫是哪个公司的

快忆科技（kuaiyi tech）成立于2015年，是专注于大数据和人工智能服务的高科技互联网公司，旨在为全球的企业和开发者提供前沿的大数据和人工智能应用开发和服务生态。 基于来自google的技术团队自主研发的分布式大数据操作系统：kd-os，提供从大数据采集获取、可视化存储管理、数据清洗、bi商务智能到ai机器学习算法的数据训练、建模、模型管理、 模型服务(serve)等一站式产品和服务。