话题爬虫
cgx-0605 opened this issue · 0 comments
cgx-0605 commented
你好，我在跑话题爬虫的时候，总是在150条左右自动停止，大概23页（总页数不止如此），不知道是什么原因。我还试着爬过去几个月的微博，几十条就停了。
还有就是我们在爬取的时候能不能获得user_id，这样就可以利用user_id去纵向爬取用户微博，以获取更多的相关性微博。
我现在正在做抑郁症分析，所以我对抑郁症话题进行爬取。另外我也在试着改一下代码，把user_id弄下来，user_id在URL里面。这样就能去爬该user_id所发布的微博。https://github.com/dataabc/weibo-search这个项目里面爬下来的数据就包含了user_id。
非常感谢作者的更新维护，已经star