🚀 Proxy Harvester - 智能代理收集器

多源、智能的代理服务器收集与管理平台

🚀 快速开始 | 📖 文档 | 🔌 插件 | 🌟 API

为开发者、安全工作者提供多源、高效的代理池解决方案

📋 目录

🎯 项目简介
✨ 功能特性
🚀 快速开始
🔌 插件系统
🌟 API 接口
🤝 贡献指南
📄 许可证
🚀 参考项目
⚠️ 免责声明

🎯 项目简介

Proxy Harvester 是一个用 Go 语言开发的高性能代理服务器收集与管理平台。它支持从多个数据源自动收集 HTTP、HTTPS、SOCKS5 代理，并提供 API 接口供应用程序使用。

🎯 适用场景

Web 爬虫 - 为爬虫提供大量可用代理IP
数据采集 - 轮换ip，提高采集成功率
API 集成 - 为第三方应用提供代理服务

✨ 功能特性

🔥 核心功能

功能	描述	状态
多源收集	支持网络空间引擎、免费ip网站等多个数据源	✅
智能验证	自动检测代理可用性	✅
类型支持	HTTP/HTTPS/SOCKS5	✅
IP轮换	对检验可用的ip进行轮换代理	✅
API	标准化的API接口，支持多种查询方式	✅
插件架构	基于yaegi的动态插件系统，易于扩展（go源码插件方便更改）	✅
定时任务	Cron表达式支持，自动定时收集	✅

🚀 快速开始

📦 安装部署

方式一：源码编译

# 克隆仓库
git clone https://github.com/overflow0verture/proxy_harvester.git
cd proxy_harvester

# 安装依赖
go mod tidy

# 编译程序
cd cmd/proxy_harvester
go build -ldflags "-w -s" -trimpath

# 运行程序
./proxy_harvester

方式二：预编译二进制

https://github.com/overflow0verture/proxy_harvester/releases/tag/v1.0.0

⚡ 快速体验

configs目录下存放项目配置，在使用前请阅读基础配置

plugin目录下存放着插件，网络空间引擎需要对应的api-key，启动服务后，轮换代理端口默认10086，web api接口默认10087

修改完config.toml直接运行即可

curl -x socks5://127.0.0.1:10086 https://icanhazip.com/

curl http://127.0.0.1:10087/api/proxies?token=atoken&count=5&type=socks5

🔌 插件系统

🎯 插件架构

Proxy Harvester 采用基于 yaegi 的动态插件系统，支持运行时加载和热更新，使用时将需要的插件下载后，直接加入plugins路径即可。

🧩 插件介绍

网络空间引擎

名称	插件路径	网站	备注
hunter	hunter_requests.go	地址	每日/月免费积分
fofa	fofa_requests.go	地址	可以修改fofa请求地址
daydaymap	daydaymap_requests.go	地址	每日/月免费积分
quake	quake_requests.go	地址
shodan	shodan_requests.go	地址
zoomeye	zoomeye_requests.go	地址	效率较低