项目作者: zhaohaihao
项目描述 :
基于百度、搜狗、360等浏览器的爬虫,集成百度贴吧爬虫
高级语言: Java
项目地址: git://github.com/zhaohaihao/crawler-engine.git
crawler-engine
基于百度、搜狗、360等浏览器的爬虫,集成百度贴吧爬虫
cralwer-search
负责百度、搜狗、360等搜索引擎以及百度贴吧内容、图片等搜索结果数据的爬取
crawler-data-process
负责对上述爬虫所得数据的以下操作:
数据打包(目前只支持excel格式)、
加密压缩、
解密解压缩、
解析入库
开发完善中…