收藏数量过大的情况
ducamg0503 opened this issue · 8 comments
ducamg0503 commented
画师的收藏数量>7000的情况
- 进程日志出现：错误信息：Rate Limit
- 但是过一段时间，重新点击"他的收藏"又会继续爬取，但是又会出现Rate Limit
Mapaler commented
你把页面发给我测试一下
ducamg0503 commented
Mapaler commented
我检查了，发现这个就是速度限制，短时间内请求次数过多就会出现这个。
解决方法只能是减慢请求速度，比如每次获取隔个几秒
Mapaler commented
如果你需要减慢请求速度的话，可以改代码，但是其他的也会一起变慢。
ducamg0503 commented
如果你需要减慢请求速度的话，可以改代码，但是其他的也会一起变慢。
可以按照爬取的收藏数来进行减慢，爬取数量小的话就不用减速了。如果爬取过大，可以稍微减速，不然隔一段时间就会出现Rate limit
Mapaler commented
那么到底多少才是大，减慢多少？
ducamg0503 commented
那么到底多少才是大，减慢多少？
这个我也不清楚
Mapaler commented
目前做了这三个功能，还在测试