/dazhongdianping

爬取大众点评的店铺评论的爬虫

Primary LanguagePython

大众点评爬虫

提示:本项目仅供学习,严禁用于商业或着任何违法用途

程序文件:dzdp.py
运行结果为一个reviews.txt文件

更新日期:2020/02/29
更新内容: 1.修复已知的bug
2.增加输出排版

更新日期:2020/02/27
说明:
1.本程序主要解决大众点评里面CSS加密问题,对封IP问题采取了程序延迟10-25秒的措施,且没有解决验证码问题,但是验证码的问题可以手动验证,并修改相关代码,也可以爬完全部页面。
2.本程序只爬取了大众点评上一家店铺的所有评论。
3.直接在网页上看好评论的页数并填进代码,没有自动化获取评论页数。
4.大众点评需要cookie才能登录,需要抓取cookie填进headers。
5.本程序只抓取了评论,未保存昵称,ID,图片等信息。
6.抓取的评论还未进行排版。

如有错误或者更好的想法,欢迎大家指出一起讨论学习。