/Weibo

Scrapy框架的weibo爬虫

Primary LanguagePythonGNU General Public License v3.0GPL-3.0

Weibo

Scrapy框架的weibo爬虫 使用Scrapy框架实现的weibo爬虫, 爬取规则是 -- 爬取某微博用户的微博列表, 粉丝列表, 关注列表, 然后获取粉丝列表或关注列表中的微博用户的微博列表, 粉丝列表, 关注列表...如此循环,

为了应付微博的反爬机制, 此项目使用了代理池和Cookies池

此项目是根据《Python 3网络爬虫开发实战》指引开发