angrykub/appspider

基于scrapy的app应用内数据爬虫

app应用内数据爬取

why so serious，just enjoy IT。

爬虫框架

基于scrapy框架，高效爬取应用内容。

完成列表

视频类

app	进度	爬取内容	示例数据	备注
抖x	✔	视频，粉丝，关注，评论	抖音测试数据 抖音测试数据--备用	签名算法
美x	✔	视频，评论		签名算法
秒x	✔	视频		签名算法及通信加密算法
快x	✔	视频，评论		签名算法
...	...	...	...	...

注：所有的app除了视频链接以外，还有很多其它值得关注的信息，有趣。