/JD_comment_spider

京东商品评论爬虫

Primary LanguagePythonMIT LicenseMIT

JD_comment_spider

京东商品评论爬虫

jdspider.py

实现代码部分,用request爬的,没有代理,当时爬的时候没有任何问题。轻松获取评论信息。
大体思路:首先通过JD搜索页面获得相关商品的ID,然后通过ID获得特定商品的网址和header里面相应的数据。
         再通过getdata()获得评价信息。
商品评论分为差评(1)、中评(2)、好评(3)。分别保存在不同的文件里。
详细说明在代码注释里。

数据保存

分隔符\t。 数据名为 商品类别_评价类型.csv (其实应该是tsv,懒得改了)