angel-yi/Lagou_Spider

拉勾增量，用自己写的IP池换IP

#增量拉钩爬虫

##使用的代理池是自己写的 项目地址为:https://github.com/yuzhiyizhan/spidery

##使用步骤

###第一步安装环境 pip install -r requirements.txt -i https://pypi.douban.com/simple/

###第二步启动代理池

###第三步开启爬虫

python main.py

默认只开启CSV管道，其他管道请自行开启