批次爬虫获取redis中的任务时一直阻塞,任务存在就是不去执行,重新执行采集程序又正常了
JeffreyLiuJunJie opened this issue · 3 comments
JeffreyLiuJunJie commented
xx299x commented
确保 COLLECTOR_TASK_COUNT <= SPIDER_THREAD_COUNT
JeffreyLiuJunJie commented
确保 COLLECTOR_TASK_COUNT <= SPIDER_THREAD_COUNT
我设置的都是32
Boris-code commented
这种情况 你要去redis里看看任务 是不是 有问题,消费的条件是 sore小于当前时间戳,且 parse_name 和 爬虫名一样