IDataAPI python3-concurrency-pics-02 返回
项目作者： wangy8961

项目描述 ：
爬取 www.mzitu.com 全站图片，截至目前共5162个图集，16.5万多张美女图片，使用 asyncio 和 aiohttp 实现的异步版本只需要不到2小时就能爬取完成。按日期创建图集目录，保存更合理。控制台只显示下载的进度条，详细信息保存在日志文件中。支持异常处理，不会终止爬虫程序。失败的请求，下次再执行爬虫程序时会自动下载
高级语言： Python
项目地址: git://github.com/wangy8961/python3-concurrency-pics-02.git
创建时间： 2018-08-27T03:39:17Z
项目社区：https://github.com/wangy8961/python3-concurrency-pics-02
开源协议：
下载