/scrapy-51job

51job,猎聘,拉勾,智联,Boss直聘 爬虫,使用scrapy框架和crawlab平台

Primary LanguagePython

招聘爬虫

功能

  • 此爬虫采用scrapy框架,以redis作为地址缓存,以ES作为内容存储
  • 可以单独启用也可以导入crawlab 平台

爬虫

  • 51job
  • 猎聘
  • 拉勾
  • 智联
  • Boss直聘:易被反爬

截图

1. 采集结果

2. 爬虫管理平台