/lgcrawl

python+scrapy+splash 爬取拉勾全站职位信息

Primary LanguagePythonApache License 2.0Apache-2.0

scrapy+splash 爬取拉勾全站职位信息

使用方法:

  1. 首先根据对应系统平台安装docker
  2. sudo docker pull scrapinghub/splash 安装splash
  3. sudo docker run -p 8050:8050 -p 8051:8051 scrapinghug/splash 启动splash
  4. cd 到爬虫目录下,执行scrapy crawl lgcrawl -o jobs_all.csv 命令启动爬虫

本项目代码尽供学习使用