/ProxyPool

跨语言IP代理池,Python实现。

Primary LanguagePythonApache License 2.0Apache-2.0

ProxyPool

Build Status
跨语言高性能IP代理池,Python实现。

注意:请运行程序前先更新一下抓取代理的爬虫。

运行环境

  • Python 3.6

    (请务必保证Python的版本在3.6以上,否则异步检验无法使用。)

  • Redis

    Redis官网并没有提供Windows的安装版,Windows用户可以点击此处下载一个我自己编译的二进制版本(3.2版本2.7MB,VS 2015编译)。

安装

① 直接使用

安装依赖

$ pip install -r requirements.txt

Windows用户如果无法安装lxml库请点击这里

打开代理池和API

$ cd proxypool

$ python3 run.py

② 安装使用

安装

$ cd proxypool

$ python setup.py install

打开代理池和API

$ proxypool_run

使用API获取代理

访问http://127.0.0.1:5000/进入主页,如果显示'Welcome',证明成功启动。

pic

访问http://127.0.0.1:5000/get可以获取一个可用代理。

pic

访问http://127.0.0.1:5000/count可以获取代理池中可用代理的数量。

pic

也可以在程序代码中用相应的语言获取,例如:

import requests
from bs4 import BeautifulSoup
import lxml

def get_proxy():
    r = requests.get('http://127.0.0.1:5000/get')
    proxy = BeautifulSoup(r.text, "lxml").get_text()
    return proxy

文件结构

picture picture