hyperq/jav

老哥可以加一个增量爬取的功能吗

Closed this issue · 1 comments

xingfanxia commented

为了避免过度消耗服务器资源并减少重爬时间，能否加入一个增量爬取功能，只爬新增的?

比如

  1. 扫页的时候查下番号是否存在再爬
  2. 查找最近爬过的id在的页数，从那页开始往前爬

多谢 :)

hyperq commented

等我有空吧