/Spider4Boss

Boss直聘网的简易爬虫

Primary LanguagePython

Spider4Boss

用爬虫配置了代理池,免费的ip效率很差,建议还是别爬boss了,吃相太难看
boss开始封ip,不建议继续爬取
需要下载火狐浏览器和驱动文件geckodriver.exe
驱动文件放在Spider4Boss.py同一目录
运行完成后会在指定目录生成单个Excel文件
中途报错退出问题仍需解决,目前为手动ctrl C停止重新运行

参数说明
user_cookie:用户登录后的个人cookie,必须,登录后才显示最新数据。 登录后F12,选择Network,刷新后点击www.zhipin.com,右侧Request Headers中复制cookie项,通常以lastCity=开头
user_url:选择城市后将此处的"c101210100"替换为地级市代号,此处为杭州市代号
user_job:需要搜索的岗位
user_path:Excel表存放的位置
hz_districts:市辖区数组