chengyumeng/spider163

今天不能用了?

Closed this issue · 5 comments

2.7.5版本刚更新的时间用的挺好,今天又用出现以下提示,不知是我配置的原因还是网易升级了反爬虫?

[li@localhost ~]$ sudo -i
[sudo] li 的密码:
[root@localhost ~]# spider163 mp3 --playlist=2048302032 --path ./mp3/
正在下载歌曲 卷珠帘-霍尊.mp3
正在下载歌曲 父亲的草原母亲的河-云飞.mp3
执行抓取任务遭遇配置异常: HTTPConnectionPool(host='m10.music.126.net', port=80): Max retries exceeded with url: /20180331093453/859760a1fc5dd33453fa3f5667f8c8fa/ymusic/de9e/8956/813e/e59af448d057c9d8cbacf29fa257bd78.mp3 (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x4ac7810>: Failed to establish a new connection: [Errno 111] Connection refused',))
[root@localhost ~]#

刚刚测试没有问题,出现这种问题可能的原因:1、网络问题,你的网络断了;2、被网易反爬虫机制判定。

感谢这么快的回复。又试验了一下,我的网络没问题的。重启了一下路由器,试了一下出口IP已经变了。重新运行程序,还是一样的错误。。不知道网易 的反爬机制是如何的?

emmm,那就不应该是网络问题,现在我没办法复现这个问题,所以没办法修复。你试着其他歌单会有相同问题吗?

换个歌ID 抓取得到 似类的结果,在硬盘上能看到成功抓取到的一两首歌曲。。
另外,不知道我理解的对否,运行
[root@localhost /]# spider163 music -c=1 -path=./mp3/
命令得到结果如下:

正在执行第 1 批抓取计划,本次抓取歌单歌曲 10 个

正在抓取歌单《黑豹(漫威电影,插曲 OST 预告片BGM合集)》的歌曲……
歌单包含歌曲 54 首,数据库 merge 歌曲 53 首

正在抓取歌单《【SHE全专辑集】》的歌曲……
歌单包含歌曲 150 首,数据库 merge 歌曲 130 首

正在抓取歌单《[煦风曦日]摇曳在春光里的款款柔情》的歌曲……
歌单包含歌曲 121 首,数据库 merge 歌曲 120 首

正在抓取歌单《爱情曾来过,最后留下琥珀》的歌曲……
歌单包含歌曲 101 首,数据库 merge 歌曲 67 首

正在抓取歌单《日系/无前奏:开口即跪 一秒沦陷》的歌曲……
歌单包含歌曲 103 首,数据库 merge 歌曲 93 首

正在抓取歌单《华研国际精选》的歌曲……
歌单包含歌曲 113 首,数据库 merge 歌曲 44 首

正在抓取歌单《值得循环的一百首日系男友音》的歌曲……
歌单包含歌曲 102 首,数据库 merge 歌曲 92 首

正在抓取歌单《你花粉过敏吗?来这里过春天吧。》的歌曲……
歌单包含歌曲 56 首,数据库 merge 歌曲 43 首

正在抓取歌单《(轻电撩心)|如仙如夢的顱腔共鳴》的歌曲……
歌单包含歌曲 89 首,数据库 merge 歌曲 83 首

正在抓取歌单《城市记忆瞬间丨谜语一般的内心独白》的歌曲……
歌单包含歌曲 20 首,数据库 merge 歌曲 19 首

[root@localhost /]#

没有错误提示,但是在硬盘上看不到任何抓取的歌曲。

@liruiyuan2018 你对抓取歌曲的功能使用有误,可以参照README文件。