recruitment 项目实训,招聘网站数据爬取 本项目主要爬取58同城,智联招聘数据网站 主要爬取数据包括下面内容 公司名称 职位名称 招聘人数 职位月薪 公司地点 学历要求 经验要求 职位描述 职位类别 信息来源 数据爬取完成后放到本项目目录下的excel表格中。 同时封装了mongdb连接代码,可以直接将数据连接到mongodb数据库中。 通过一定的措施进行了防止ip被禁止的数据庆文驿站—【python】scrapy 爬虫 防止ip被禁措施 总结 后期可以进行分布式爬取。