QuanRadar 用于爬取腾讯圈子的用户帖子数据,爬取后将会以excel保存,拥有一个简单易用的界面,即开即用。 简单介绍: 1.可以爬取单个用户,也可以爬取多个。 2.多个用户的配置文件为excel,格式例子位于QuanRadar\bin目录下。 3.可以在爬取玩数据后将多个合并为一个excel文件,方便统计。 4.合并的Excel表格可以合并相邻的同样标题和用户名的数据,方便查看和统计。 5.可以设定爬取数据的时间区间,方便统计特定时期的数据。 已知问题 1.暂时没有做自动采集网上免费http代理的helper,因为还没有必要,哪怕是大量采集数据依然没有被腾讯视为爬虫,不过后期可能会更新,有时间的时候。 2.可能保存到excel的数据不是你需要的,或者你想要取消转发这类记录的屏蔽,你可以自己下载源码修改,注释很齐全,包括获得的 json 的注释。 3.代码这块也需要重构,不过这个并不会影响使用,对性能的损耗也基本可以忽略,单纯是强迫症难受,不过项目的大体框架都分好类了,主要是ExcelHelper之类的能复用的代码还没来得及放到该放的地方。