/crawler-demo

爬虫demo(zhilian+51job)

Primary LanguagePython

crawler-demo

爬虫demo(zhilian+51job)

使用

执行文件,根据提示输入:城市,关键词和页数,爬去结果会以城市+关键词为文件名,保存在当前目录的对应文件夹下

注:无头浏览器需要提前安装配置(运行智联爬虫需要安装Firefox + geckodriver [https://github.com/mozilla/geckodriver/releases] , 并修改文件中的geckodriver_path才能运行)

问题与改进

1.增加行业选项

2.智联招聘非登陆状态智能爬取三页的内容

3.无头浏览器占用资源较大

4.代理ip池没有使用