daydayfund 天天基金网爬虫,可分布式部署,限制并发,通过代理ip爬数据,定时爬取,定时通过邮件反馈基金行情统计数据 有什么疑问可以加我微信 a824707315 #更新信息 2020.02.06 1.解决多节点部署时误删已有队列数据的问题 2.监控线程添加进度百分比日志打印 3.删除不必要的多线程并发控制代码 4.删除不必要的日志打印 #更新信息2020.03.08 1.优化并发控制,通过修改redis中并发数量配置实时调整不同实例的并发数量