/JobWitcher

JobWitcher 招聘网站爬虫合集

Primary LanguagePythonMIT LicenseMIT

JobWitcher - 招聘网站爬虫合集

PyPI - Python Version GitHub

使用 Scrapy 框架实现的招聘网站爬虫,通过 Redis 完成数据的增量抓取,并持久化到 MySQL 数据库中

支持的网站列表:

  • 智联招聘
  • 拉勾网
  • 前程无忧
  • BOSS 直聘
  • 猎聘网

运行

在爬虫根目录下执行命令行命令:

$python main.py

LICENSE

MIT