Python3WebSpider/ProxyPool

通过 random 接口调用的 ip ，试了十几个全都不可用

dongrixinyu opened this issue · 7 comments

dongrixinyu commented

Describe the bug
安装的时候，是直接 clone + docker-compose 的没有改参数配置，然后直接调用的 random 接口。
请求的网站也是 readme 里的，似乎全都不生效是为什么呢？
这个 ip 获取的网站以及如何校验是否有效，是如何做的呢？可否有个原理说明？

dongrixinyu commented

我刚试了一个好像又可以了，只是可用的非常少

Germey commented

是的，公开代理，可用的就是很少，建议对接一些付费代理到代理池里面

dongrixinyu commented

还想请教一个问题，我用 tinyproxy 搭了一个代理，一开始请求都还可以，然后过了一阵就经常报 超时，而 tinyproxy 服务器我看子进程也特别多，达到了上限，目标网站没有给代理服务器做响应。

这种自己部的 代理无响应是不是大概率就是目标网站把ip 禁了？

savioryu commented

是的，公开代理，可用的就是很少，建议对接一些付费代理到代理池里面

有哪些付费代理推荐码？

@Germey

glwhappen commented

这个不会自动把不可用的去除吗，如果不可以的话，这个代理池的意义不就不大了吗