Redis>> duSheCommunity>> 返回
项目作者： Harhao

项目描述 ：
利用Fiddler抓包分析毒舌影评社区的APP api接口。单机版的scrapy爬虫，基于scrapy-redis
高级语言： Python
项目地址: git://github.com/Harhao/duSheCommunity.git


duSheCommunity
  • 利用Fiddler抓包分析毒舌影评社区的APP api接口。单机版的scrapy爬虫，基于scrapy-redis的分布式爬虫。
    使用方法：
  • 项目依赖模块文件
    1. pip install scrapy-redis
    2. pip install scrapy
  • 如果遇到scrapy无法加载，可以直接下载Anaconda，避免下载过多的依赖包文件，造成无法搭建运行环境
  • dushe与dusheSingle是两个不同的版本
  • git clone下来，随便一个项目，然后运行一下命令
    1. scrapy crawl duzheMovie