Boris-code/feapder

批次爬虫获取redis中的任务时一直阻塞,任务存在就是不去执行,重新执行采集程序又正常了

JeffreyLiuJunJie opened this issue · 3 comments

确保 COLLECTOR_TASK_COUNT <= SPIDER_THREAD_COUNT

确保 COLLECTOR_TASK_COUNT <= SPIDER_THREAD_COUNT
我设置的都是32

这种情况 你要去redis里看看任务 是不是 有问题,消费的条件是 sore小于当前时间戳,且 parse_name 和 爬虫名一样