Memory Leak--UserWarning: semaphore_tracker: There appear to be 14 leaked semaphores to clean up at shutdown len(cache))
Opened this issue · 2 comments
hukaixuan19970627 commented
hukaixuan19970627 commented
LiWentomng commented
是的,我在训练DOTA多尺度数据(scale: 0.5, 1.0, 1.5)时, 也出现内存泄漏导致训练中止的情况,具体终端信息显示如下:
lib/python3.7/multiprocessing/semaphore_tracker.py:144: UserWarning: semaphore_tracker: There appear to be 14 leaked semaphores to clean up at shutd len(cache))
.
也知道是cuda代码的问题,但没有找到具体问题在哪。故训练出现中断的情况,一般采用resume_from
继续训练,最后的结果似乎也没有受到影响。
感谢对此代码的完善以及commits !!!