CrawlFreeProxy
Free proxy IP for common work (made by python3).
本项目原本是自用的免费代理池,后来用过项目Germey/ProxyPool后,参考Germey的思路,给项目做了简单的web端和api。
项目特性:
- 支持HTTP和HTTPS:分别采集和验证http和https的代理
- 同步更新:根据网站更新频率进行增量爬取
- 提供api
1. 依赖
- 安装redis server
way1:sudo apt-get install redis-server
way2: 安装redis参考链接 - pypi依赖包
pip3 install requests bs4 Flask lxml redis
2. 使用
python web_app.py
默认开放公网访问
如果需要修改ip和端口,编辑 web_app.py
最后一行,修改host和port的值即可
app.run(host="0.0.0.0", port=7865)
3. api
访问主页
http://192.168.70.40:7865/
3.1 查看ip总量
http://192.168.70.40:7865/count
3.2 获取http代理
http://192.168.70.40:7865/random_http
返回 ip:port
字符串
3.3 获取https代理
http://192.168.70.40:7865/random_https
返回 ip:port
字符串