无法登陆
z596593851 opened this issue · 3 comments
z596593851 commented
知乎登陆刚开始提示缺少grant_type,chrome降级以后确实可以登陆了,但是执行完:
return [scrapy.Request(url=self.start_urls[0], dont_filter=True, cookies=cookie_dict, headers=self.headers)]
以后,all_urls还是拿不到登陆以后的question url,显示访问的还是登陆之前的地址。
mtianyan commented
@z596593851 你有使用目前最新的代码吗?已将ChromeDriver替换为PhantomJS。
z596593851 commented
@z596593851 你有使用目前最新的代码吗?已将ChromeDriver替换为PhantomJS。
不好意思是我没看清楚。但是换成PhantomJS以后还是同样的问题。
打了断点,def parse后显示resopnse:<200 https://www.zhihu.com/signup?next=%2F>
这个应该是未登录时候的url吧。
all_urls也没有获取到question的url。
mtianyan commented
你可能运行的太着急了,知乎得多等一会才能爬到数据,开始会处理一堆不是问题,答案的请求。当然又有好几个月没跑代码,可能它又炸了