爬虫demo(zhilian+51job)
执行文件,根据提示输入:城市,关键词和页数,爬去结果会以城市+关键词为文件名,保存在当前目录的对应文件夹下
注:无头浏览器需要提前安装配置(运行智联爬虫需要安装Firefox + geckodriver [https://github.com/mozilla/geckodriver/releases] , 并修改文件中的geckodriver_path才能运行)
1.增加行业选项
2.智联招聘非登陆状态智能爬取三页的内容
3.无头浏览器占用资源较大
4.代理ip池没有使用