codesofun/web-bee

定时器

nonacosa opened this issue · 2 comments

nonacosa commented

对于一些反爬不错的网站 典型：知乎
应该特别注意模仿用户行为，应该增加定时器每天分三个时段进行智能爬取

JPCui commented

打算自己做定时么？考虑用quartz么？

反扒也可以考虑使用代理，从网上找几个用用，，，可以考虑实现自动爬取代理的脚本

nonacosa commented

@JPCui 是的，我觉得这个框架为了一个任务调度而引入一个quartz太重了，不如 用 Timer 、ScheduledExecutor 等原生java自己封装一个工具类。
代理的话我开始也打算维护自动爬取代理的程序，后来想了想，不如找一个开源的😄