mtianyan/FunpySpiderSearchEngine

无法登陆

z596593851 opened this issue · 3 comments

知乎登陆刚开始提示缺少grant_type,chrome降级以后确实可以登陆了,但是执行完:
return [scrapy.Request(url=self.start_urls[0], dont_filter=True, cookies=cookie_dict, headers=self.headers)]
以后,all_urls还是拿不到登陆以后的question url,显示访问的还是登陆之前的地址。

@z596593851 你有使用目前最新的代码吗?已将ChromeDriver替换为PhantomJS。

@z596593851 你有使用目前最新的代码吗?已将ChromeDriver替换为PhantomJS。
不好意思是我没看清楚。但是换成PhantomJS以后还是同样的问题。
打了断点,def parse后显示resopnse:<200 https://www.zhihu.com/signup?next=%2F>
这个应该是未登录时候的url吧。
all_urls也没有获取到question的url。

你可能运行的太着急了,知乎得多等一会才能爬到数据,开始会处理一堆不是问题,答案的请求。当然又有好几个月没跑代码,可能它又炸了