/Proxies

100行Python代码快速获得一个代理池,两分钟获得数千个有效代理

Primary LanguagePython

Proxies

100行Python代码快速获得一个代理池,两分钟获得数千个有效代理。

爬虫一般情况下需要FQ,请自行修改SPIDER_PROXIES的配置,参考格式:

SPIDER_PROXIES = {'http': 'socks5://127.0.0.1:1086', 'https': 'socks5://127.0.0.1:1086'}

注:ip138的URL可能会失效,可以访问ip138.com查看源码获得新URL,或修改为其他可返回IP的URL

如果发现新的站点,可以增加SITES的内容

USAGE 使用方法

安装依赖

pip3 install requests

运行

python3 run.py

# 指定验证的URL(默认是ip138)
python3 run.py -u 'https://www.baidu.com'

# 指定输出文件位置(默认是proxies.txt)
python3 run.py -o 'output.txt'

# 指定从文件读入代理校验(默认是爬虫爬代理)
python3 run.py -f 'input.txt'

# 从指定文件读取代理,并指定校验网站和输出位置
python3 run.py -f 'input.txt' -u 'https://www.baidu.com' -o 'output.txt'

注意:输出文件会被覆盖。

Preview

LICENSE

WTFPL