610265158/DSFD-tensorflow

关于tf2分支训练时内存不断增长的问题

luvvien opened this issue · 2 comments

luvvien commented

运行一段时间会出现 exit code 137，被kill掉，查找原因是内存不足，进一步发现，随着程序的运行，内存消化会不断增长，怀疑是某个地方没有及时释放。
运行环境：ubuntu20 py3.6 tf2.0.0 在pycharm内运行的

610265158 commented

hi， 抱歉刚看到，

可能是dataprovider的原因，内存多大呢

Tomhouxin commented

是的，训练到一半内存吃满了，一直再涨