/crawler

这是一个用python写的爬虫实例,这里爬取了美团,大从点评点评等网站

Primary LanguagePython

crawler

####项目说明: 这是一个用python写的爬虫实例,这里爬取了美团,大从点评点评等网站,其实各大网站的爬取,都差不多,注意heards伪装成浏览器,以及做好代理IP池。 ####文件说明: ·MT.py 爬取美团网的美食商家的信息 ·DZDP.py,DZDP2.py,DZDP3.py 爬取大众点评的美食商家的信息,3个py用不同的方法爬取 ·getIp.py 获取IP池 ·ip.txt 获取放在本地的IP