/Job

基于scrapy+splash的开源爬虫，动态更换ip

Primary LanguagePython

开源爬虫

基于scrapy + splash的开源爬虫并在爬取中动态维护ip，解决ip和js问题

项目详情

爬虫主要爬取一些国际组织的招聘岗位信息，解析一些招聘要求。其中只有MOHRSSjob为国内站点，测试动态ip的使用情况，效果较好。部分网站使用了splash进行解析，也写了phantomjs的解析示例。 若使用phantomjs需下载phantomjs.exe并放置于Script下

开发环境

  • Python 2.7
  • scrapy
  • scrapydo
  • scrapy-splash
  • selenium
  • mysql
  • bs4

下载安装

  • 下载源码:
git clone git@github.com:18010927657/Job.git

或者直接到https://github.com/18010927657/Job 下载zip文件
  • 安装依赖:
pip install -r requirements.txt
  • 配置settings:
# settings 为scrapy项目配置文件
# 配置DB
DB_CONNECT		  #修改mysql连接信息


# 配置 SPLASH_URL
本爬虫使用splash渲染js脚本，安装参考
    [splash安装](http://www.jianshu.com/p/4052926bc12c)
....
  • 启动:
# 如果你的依赖已经安全完成并且具备运行条件,可以直接在Job下运行main.py
# 到Run目录下:
>>>python main.py

问题反馈

任何问题欢迎在Issues 中反馈，也可以发邮件到我的邮箱liuy_anhui@163.com。我看到会立即反馈

你的反馈会让此项目变得更加完美。