- 对代理138,站长进行简单验证可用性
- 定时任务10分钟去抓取一次代理
- 可用代理都序列化在redis
使用无浏览器爬虫phantomjs抓取码农代理(码农代理对端口做了混淆,一般通过http抓取到的网页是做过混淆的)
-
phantomjs地址:http://phantomjs.org/
-
码农代理地址:https://proxy.coderbusy.com/classical/country/cn.aspx
觉得不错给个赞👍吧
使用无浏览器爬虫phantomjs抓取码农代理(码农代理对端口做了混淆,一般通过http抓取到的网页是做过混淆的)
phantomjs地址:http://phantomjs.org/
码农代理地址:https://proxy.coderbusy.com/classical/country/cn.aspx
觉得不错给个赞👍吧