python 编写的DHT Crawler 网络爬虫,抓取DHT网络的磁力链接。
抓取dht网络的磁力链接,使用 libtorrent 的python绑定库开发
启动并监控dht爬虫进程,在爬虫进程退出后重启启动爬虫,使用 twisted 开发
运行的机器要能被外网访问,用来接收dht网络节点的信息,使用vps即可
- linux 服务器
- python 2.7.3
- 安装 libtorrent 的 python 绑定库
- 安装 twisted 网络库
- 开放防火墙的对应端口段,目前默认的是 32900--32920 (20是工作的p2p客户端数量)
- 下载 collector.py collectord.py 文件到安装目录
- 脚本方式测试运行: python collector.py result.json collector.state
- 服务方式运行:twistd -y collectord.py
- 通过 twistd 服务启动时,服务状态查看:telnet 127.0.0.1 31000
- 命令行或服务启动是,爬虫状态查看:cat collector.state
result.json 是收集的磁力链接结果文件,json格式,key是资源的info hash,value是资源的热度
- 一群工程师组建的面向初学者的学习群
- 有问题可以加群问,这样效率更高
- 非商业性质,拒绝广告,只接收真正想学这方面技术的朋友,交流学习
- 申请请说明来自 github
- python Linux 初学者入门群( qq 群号:278529278 )
- php Linux 初学者入门群( qq 群号:476648701 )