Windows下测试无法运行，乱码
Closed this issue · 15 comments
C:\Users\wangl\Desktop\version14>python tencent_weibo.py
寮€濮嬪垎鏋愯吘璁井鍗氱銆€1 椤?..Traceback (most recent call last):
File "tencent_weibo.py", line 155, in
weibo.start()
File "tencent_weibo.py", line 122, in start
print '寮€濮嬪垎鏋愯吘璁井鍗氱銆€%s 椤?..' % self.page_index
IOError: [Errno 0] Error
环境：Py2.7.14 pip已经安装docx，中文windows，unicode中文
朋友的提示是编码问题不是IO，npp里面转换成GBK print里面的中文就全乱码了，和上面的一毛一样
他的解决方法是
暴力注释掉所有print，就能跑了………
顺便，应该是pip install python-docx，docx里面并没有Document
换用登陆版之后，一直卡在“打开我的广播超时...”这里，偶尔登录失败倒是能抓到数据……
尝试修复中文问题失败……即使将全部print语句中的中文替换成英文，也仍然无法正常运行，因为判断过程中仍然有好多中文出现。
看来目前最简单的办法就是使用PyCharm,Eclipse之类的IDE来执行，即可成功。
如果登录版也无法成功执行，也请使用PyCharm,Eclipse等IDE来执行。
我会更新README，提醒大家使用IDE来执行，感谢回馈！
不仅这样，还有不能翻页的问题，还有抓取中途弹错误直接结束的问题，前者自己修复了但好像依旧不是很好用，后者真的…………emmmm
六万多条微博显然非登陆版已经不能满足需求了，但是确实……问题还是很多的…………
顺便中途弹错误可能是由于我移除了抓取图片相关的，但是前部有图片的正常抓取啊就很迷了…………
因为腾讯微博现在的服务器图片基本上是抓不下来的状态…………希望可以下一版中加一个图片开关
还是非常感谢您能有心写这样一个过气平台的爬虫
weibo.start()
File "C:/Users/wangl/Desktop/loginver5/tencent_weibo.py", line 120, in start
self.get_items()
File "C:/Users/wangl/Desktop/loginver5/tencent_weibo.py", line 83, in get_items
tencent_util.add_quotation(self.document, quotation)
File "C:\Users\wangl\Desktop\loginver5\tencent_util.py", line 172, in add_quotation
quotation_items = analyze_quotation(quotation)
File "C:\Users\wangl\Desktop\loginver5\tencent_util.py", line 251, in analyze_quotation
quotation_items = re.findall(pattern, quotation)[0]
IndexError: list index out of range
我把非登录版的代码更新到了Python3的运行环境，
中文乱码问题终于被修复了。
Python2的情况下直接在控制台运行乱码问题真的是个大坑……
最新更新的version15文件夹下的代码，
使用Python3运行应该是可以正确备份的，
所有LOG也可以正常在控制台下显示。
今天把登录版本的代码也更新到了Python3环境，
只不过腾讯微博与在的服务器速度太慢了，
登录和打开我的广播的地方sleep设置了10秒，
如果不行可以自行修改。
对，腾讯的土豆服务器实在是…………事实上我这儿图片基本加载不出来了，抓取速度慢到爆…………
所以能否请您加个拉取图片的开关？
登录版与非登录版的第一个版本中都没有备份图片的功能，你看下能满足你的需求吗？
啊不敢说是需求啦，还得感谢您有心做这个过气微博的工具呢，本来励志苦学py根据您的自行修改结果还是零基础完全搞不定……
第一个版本的话没图片备份速度就很快，但是好像并不会把转播评论的原文弄下来…………这就比较…………
其实你可以换一个快点的网络试一下，虽然速度慢，但是在我的网络下是可以连图片完全备份下来的。
可是速度慢要命啊，并没有续传的设计，然而我微博大概七万条…………
图片基本上要等到超时失败，基本不可用了都，朋友试过也这样…………
这种脚本续传是没意义的。
现在还有乱码吗？
突然发现说了好多题外的233333
这个issues可以关啦，没乱码www谢啦
嗯，没乱码这个就解决啦。
想让不加载图片的修改挺简单的，你也说你想学Python，不防就借此机会学习也不错。
提示一下，
tencent_weibo.py 的第94行 tencent_util.add_picture(self.document, story)注释掉，
tencent_util.py 的192行 add_quotation()方法内添加图片部分的代码注释掉就可以了。