/WeiboSuperSpider

最强微博爬虫,用户、话题、评论一网打尽。

Primary LanguagePythonApache License 2.0Apache-2.0

作者简介

作者 inspurer
QQ交流群 861016679
个人博客 https://inspurer.github.io/

2021/7/17 更新

2021新版本微博超级爬虫来了

包括三个部分,微博话题爬虫,微博评论爬虫,微博转发爬虫,简介如下

微博话题爬虫可以根据关键词,按照时间段,爬取保存指定微博,出错了重新运行能继续抓取。

微博评论爬虫可以爬取想要的微博的评论,及其评论的回复,可以抓取上万条评论之多。

微博转发爬虫可以爬取微博的转发信息,以及转发微博的转发等,无限递归。

微博位置爬虫可以抓取指定地点下的

详细信息可以参考系列文章(部分爬虫文件只在微信公众号),地址如下:

2021 新版微博话题爬虫发布

2021 新版微博评论及其子评论爬虫发布

2021 微博最新转发爬虫发布

2021最新微博位置爬虫

后续更新,欢迎微信扫描下方二维码或者在微信内搜索 微信公众号:月小水长(ID:inspurer) 进行关注;

WeiboSuperScrapy

最强微博爬虫,用户、话题、评论一网打尽。

GUI 功能集中版 (discard,请使用独立版本和查看微信公众号)

运行 GUI.py 即可爬取用户/话题微博

运行 WeiboCommentScrapy.py 并修改里面的微博id (wid) 即可爬取指定微博的所有评论。

无 GUI 功能独立版

单独的 py 文件分别对立一个 功能

WeiboCommentScrapy.py 爬取评论

WeiboTopicScrapy.py 爬取指定关键词的所有微博,突破了 50 页的限制,可指定截至日期时间段搜索(比如 20200101-20200102)(20210918 确认已经失效,请使用 2021 新版微博话题爬虫发布 或者公众号里面的免 cookie 版本)

WeiboSuperCommentScrapy.py 可爬取一条微博的所有评论,更为强大

Reference

https://www.jianshu.com/p/8dc04794e35f