React-meizi-PROSAGA-码农传奇

项目作者： itzujun

项目描述：
网络妹子网站数据爬虫

高级语言： Python

项目主页：

项目地址: git://github.com/itzujun/meizi.git

创建时间： 2019-01-17T09:52:55Z
项目社区：https://github.com/itzujun/meizi
开源协议：
下载

妹子爬虫

-爬虫多进程

for per in downlist:
    threads = []
    for url in per:  # 开启多线程下载
        filename = '%s/%s/%s.jpg' % (os.path.abspath('.'), dirName, k)
        k = k + 1
        t = Thread(target=self.download, args=[filename, url])
        t.start()
        threads.append(t)
    for t in threads:  # 开启守护进程
        t.join()

妹子爬虫

爬虫结果