tomhaoye/crawler.58

lat_lon 为空

Closed this issue · 5 comments

yuan-web commented

20180920084433

大佬，爬取的经纬度为空

tomhaoye commented

@yuan-web 全部数据的经纬度都空吗？有可能部分地区页面结构问题，也可能是页面结构改了。今晚我看一下

tomhaoye commented

@yuan-web 应该是加了访问频率限制，恐怕要上代理才行了

yuan-web commented

@tomhaoye 经纬度都是空，但是数据都获取到了，所以不是访问限制，应该是匹配经纬度那里有点问题

tomhaoye commented

详细信息和经纬度都是通过 detail.py 获取的，这文件访问的是58手机端的详情页面，你可以执行一遍之后找一个手机端详情页面去访问一下，是需要用通过滑动图片验证码才能访问的，节后我再去弄一下吧～

@yuan-web

tomhaoye commented

@yuan-web 额，你这个是长沙的数据吧，我执行了一把，发现没问题，你是不是忘了执行python detail.py cs？另外58的验证码似乎只会出现一次，遇到了随便打开一个小区页面http://m.58.com/xiaoqu/chunshuian/手动通过之后就可以继续了。我也写了模拟绕过验证码的代码，完善后可能会加进去，但是需要很多额外的库和selenium webdriver。
123