/getJobData

get51jobData

Primary LanguagePython

get51jobData

用于抓取51job网站对应工作的指标,并作分析 根据关键字抓取当前关键字下,所有武汉地区工作岗位 先遍历移动网站下所有的Jobid和coid,用来生成URL,单线程约4分钟,存入数据库,做这一步的用意是可以后期快速对比哪些数据更新 再生成对应URL存入数据库以便使用 通过jobid生成的URL抓取公司信息和职位信息

特点: 0、数据库分三张表,jobid和coid对应表,job信息详细表,co信息详细表 1、根据jobid抓取详细信息的时候需要用到多线程 2、抓取jobid详细信息的时候可以多线程或者多进程抓取,多事物批量提交到数据库 3、一次抓取完成之后,后续需要怼jobid,coid对应表进行更新,一般只做新增,同时新增后两张表的信息 4、可以进行多headers自动选择,代理自动选择 5、可以通过ini文件配置搜索信息和程序运行方式