/WeiboSuperSpider

微博爬虫及配套工具箱，微博用户、话题、评论采集一网打尽。图片下载、情感分析，地理位置、关系网络、spammer 机器人识别等功能应有尽有。Docs：https://buyixiao.github.io/blog/weibo-super-spider.html 配套可视化网站：https://buyixiao.github.io/blog/one-stop-weibo-visualization.html

Primary LanguagePythonApache License 2.0Apache-2.0

项目简介

微博爬虫及配套工具箱，一站式微博爬虫采集、分析、可视化工具。微博用户、话题、评论爬虫一网打尽；图片下载、情感分析，地理位置、关系网络、机器人识别等功能应有尽有。

项目遵循以下两个设计原则：

  • 爬虫抓取的数据保存在 Excel 可以打开的 CSV 中，不依赖任何数据库。
  • 每个功能 Feat 对应的爬虫文件都是相互独立的，不存在依赖关系，虽然不利于维护和重构，但是对于使用者友好。

作者简介

作者 inspurer
QQ交流群 751114777
个人博客 https://buyixiao.github.io/

项目资料

Docs 2022 最新指南
配套的自助抓取网站（顺带任意深度和广度的微博用户关系（关注/粉丝）网络构建、任意深度和广度的微博转发路径网络、微博、评论、签到等数据集在线构建）、微博 Spammer 识别 execute data crawling without any environment setting
配套的微博可视化网站 https://buyixiao.github.io/blog/one-stop-weibo-visualization.html
包含世界、**-省-市地图和动态排序柱状图、桑基图、关系图、弦图、旭日图、树图、矩形树图等图表在线配置数据可视化工具网站 https://tools.buyixiao.xyz/
微博签到相关可视化 B 站教程 https://www.bilibili.com/video/BV1S14y1x73y

项目声明

If you use this project in your research, please cite this project.

@misc{WeiboSuperSpider,
    author = {Tao Xiao},
    title = {微博超级爬虫，最强微博爬虫，用户、话题、评论一网打尽。图片下载、情感分析，地理位置、关系网络等功能应有尽有。},
    year = {2019},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {\url{https://github.com/Python3Spiders/WeiboSuperSpider}},
}