hightman/pspider

并行抓取多条时不精确,串数据了。

Closed this issue · 1 comments

当我把 const MAX_BURST 设置大于1时 去抓取 多个不同的地址时 会出现不准确和串数据的情况。
如我设置为10 去抓100个网站,他们每次会去抓取10个,但返回的结果不准确。
当单独抓这些不准确的地址时结果是准确的。

我以为是超时时间太短的原因,当我设置超时时间时,但他并没有起到作用。跪求解决哇

给出完整的测试、复现代码吧。这项设置的含义是对同一目标主机+端口的并发请求,以免被各种防攻击机制ban掉。