项目作者: zhaohaihao

项目描述 :
基于百度、搜狗、360等浏览器的爬虫,集成百度贴吧爬虫
高级语言: Java
项目地址: git://github.com/zhaohaihao/crawler-engine.git
创建时间: 2018-04-23T08:55:05Z
项目社区:https://github.com/zhaohaihao/crawler-engine

开源协议:

下载


crawler-engine

基于百度、搜狗、360等浏览器的爬虫,集成百度贴吧爬虫

负责百度、搜狗、360等搜索引擎以及百度贴吧内容、图片等搜索结果数据的爬取

crawler-data-process

负责对上述爬虫所得数据的以下操作:

数据打包(目前只支持excel格式)、

加密压缩、

解密解压缩、

解析入库

开发完善中…