intfloat/sina-weibo-crawler

TypeError

Opened this issue · 6 comments

jyjune24 commented

Traceback (most recent call last):
File "C:/Users/June/Desktop/sina-weibo-crawler-master/spider.py", line 12, in
print(crawler.crawl(url = 'http://weibo.cn/yaochen'))
File "C:\Users\June\Desktop\sina-weibo-crawler-master\wcrawler.py", line 97, in crawl
req = self.__get_request(turl)
File "C:\Users\June\Desktop\sina-weibo-crawler-master\wcrawler.py", line 257, in __get_request
stderr.write(json.dumps(self.data, ensure_ascii=False, sort_keys=True, indent=4).encode('utf-8', 'replace'))
TypeError: write() argument must be str, not bytes

请问这是什么问题呢？是由于微博的api限制吗？

intfloat commented

我查了一下，是因为微博从http转向https了，导致url失效了。我已经在提交 eb6975d 修复了，你可以更新本项目代码，把http://... 换成 https://... 再试一下。

jyjune24 commented

你好，换成 https://...后仍然会出现这个问题，__get_request出错.

intfloat commented
  • 项目代码 git pull更新了么？
  • 你把cookie替换成你自己的了么？
jyjune24 commented

  • 我直接clone到本地环境运行的

  • 是的 已经替换了

intfloat commented

那我想不出来还有什么问题了。。我这边本地测试是好的。

jyjune24 commented

你好 还想问一下如果账号被微博访问拒绝的话怎么能做到模拟多次尝试连接呢？