领航下载站 / 汇聚当下最新最酷的软件下载站!
领航下载站
您的位置: 首页 >软件频道 > 应用软件 > 文件处理 > 蓝天采集器
蓝天采集器 v2.2 / 蓝天数据采集发布系统
  • 软件大小:13.03MB
  • 软件语言:中文
  • 软件类型:国产软件
  • 软件授权:免费版
  • 更新时间:2019-08-09
  • 软件类别:文件处理
  • 软件官网:https://www.skycaiji.com
  • 应用平台:WinXP/Vista/Win7/Win8

分数 软件星级:4

下载地址 收藏该页

标签: 数据采集

蓝天采集器是一款支持云端的数据采集软件。它能够从任何网页和服务器上采集数据,不需要登录。并且该软件还拥有一个云平台,你可以将采集的数据与其他用户一起分享。

蓝天采集器

软件介绍

蓝天采集器是一款免费的数据采集发布爬虫软件,采用php+mysql开发,可部署在云服务器,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是大数据、云时代网站数据自动化采集的最佳云端爬虫软件。

软件特点

1、数据采集

支持多级、多页、分页采集,自定义采集规则(支持正则、XPATH、JSON等)精准匹配任意信息流,几乎能采集所有类型的网页,绝大多数文章类型页面内容可实现智能识别

2、内容发布

无缝对接各类CMS建站程序,实现免登陆导入数据,支持自定义数据发布插件,也可以直接导入数据库、存储为Excel文件、生成API接口等

3、自动化及云平台

软件实现定时定量全自动采集发布,无需人工干预!内置云平台,用户可分享及下载采集规则,发布供求信息以及社区求助、交流等

蓝天采集器

蓝天采集器安装教程

1、上传至服务器

将下载的软件上传至您的服务器,如果根目录有站点建议放在子目录里,解压后打开浏览器输入您的服务器域名或ip地址(存放在子目录则加上子目录的名称),进入安装界面

2、点击“接受”,进入环境检测页面

3、必须确保所有参数都正确,否则使用中会出现错误,点击“下一步”进入数据安装界面

蓝天采集器

4、填写好数据库及创始人配置,点击“下一步”

蓝天采集器

5、最后安装完成,现在可以使用蓝天采集器了!

蓝天采集器采集规则

添加、编辑字段时使用规则匹配可精准获取目标页面的数据

蓝天采集器

“规则”支持:(*)(通配符)、正则表达式,使用[内容](通用匹配)或捕获组(正则捕获组)将匹配的数据保存为标签,在“拼接内容”中引用[内容N]标签组成结果

[内容]和捕获组的区别:[内容]会自动转换成固定格式捕获组:(?.*?)

而捕获组:(?[\s\S]*?),可以编写任意正则表达式

[内容]适用于精准度不高的通用匹配,捕获组适用于精准匹配

默认为单个匹配,多个匹配可勾选“允许匹配多个元素”

示例

以网易新闻为例,页面中有许多元素,而我们只需要标题和正文

蓝天采集器

鼠标右键,查看页面源代码,使用键盘 CTRL+F 搜索标题,找到标题的位置

正文处于标记的红框html代码之间

蓝天采集器怎么使用

1、创建任务

登录后台,左侧导航中点击“添加任务”

“导入任务”可以复制其他任务的所有设置(包括采集器设置、发布设置)

“导入规则”可以从其他任务或文件中复制采集器设置

“更多设置”可以为任务单独配置采集设置

蓝天采集器

2、采集器设置

点击任务底部进度条的“采集器设置”进入规则编辑界面:

输入采集规则名称和目标网站编码(可自动检测)

页面渲染可自动加载出ajax内容,适用于js脚本较多的页面

自动补全网址可以将网页中的相对地址(不包含域名的网址)转为绝对网址(包含域名)

网址不排重,默认会将采集过的内容页排重处理,不排重适用于更新频繁的动态页面

修改请求头信息以适应需要登录的、手机浏览的等界面

3、发布设置

点击任务底部进度条的“发布设置”,选择发布方式

本地cms程序:可自动检测出服务器中的CMS程序,实现蓝天采集器和cms无缝对接

蓝天采集器

简单绑定对应的数据,不用登录即可入库,你还可以自行开发cms插件,理论上可实现任何CMS的任意入库操作

数据库:直接将数据入库,配置好数据库参数点击“数据表”

绑定数据表的字段和采集器的字段,多张表关联自增id,选择“自定义内容”输入“auto_id@表名”即可

蓝天采集器下载

回顶部 去下载