/sinaWeiboSpider

新浪微博用户信息和博文分布式爬虫

Primary LanguagePython

sinaWeiboSpider

新浪微博用户信息和博文分布式爬虫

对接远程服务器，在远程服务器上搭建redis、mongoDB、scrapy环境，并实现cookies池和代理池。