Danie1s/Tiercel

超级多任务时的清理逻辑

Garenge opened this issue · 3 comments

我有一个系统, 批量下载N多个文件, 多到成千上万, 我发现随着任务增多, 下载好像越来越慢, 网速还是在的
是不是任务太多, 要遍历已完成任务耗时?我该怎么解决, 下载完一个任务就清除该任务的下载记录吗?

是下载时速度慢,还是开始下载这一动作很慢?

动作慢, 网速应该是正常的, 但是启动一个任务变的很慢, 就一个爬虫程序, 爬着爬着, 觉得越来越慢了

Demo 里面 3000 个任务都是正常下载的。那你尝试下载一个清除一个吧,确实每次都需要遍历