crawler-boss
用Go实现抓取Boss直聘职位数据。有几个特点
1.代理防IP被封
2.模拟浏览器,反识别爬虫。
3.控制爬取频率。
4.多协程爬取。
不足之处
1.爬取失败,没有进行重试以及更换IP处理。
2.错误处理
3.代码结构方面进行优化。
交流 && 疑问
如果有任何错误或不懂的地方欢迎给我提问 https://github.com/githubw2015/crawler-boss
如果对你有所帮助，请给个Star，你的支持，是我最大的动力。
1.代理防IP被封
2.模拟浏览器,反识别爬虫。
3.控制爬取频率。
4.多协程爬取。
1.爬取失败,没有进行重试以及更换IP处理。
2.错误处理
3.代码结构方面进行优化。
如果有任何错误或不懂的地方欢迎给我提问 https://github.com/githubw2015/crawler-boss
如果对你有所帮助，请给个Star，你的支持，是我最大的动力。