训练速度

[ycdhqzhiai]

@610265158 batch 128 训练速度巨慢无比，10个iter要2-3min, 2块2080卡，你那边速度多少啊

[610265158]

@610265158 batch 128 训练速度巨慢无比，10个iter要2-3min, 2块2080卡，你那边速度多少啊

我这还好，大概一两天就能出结果，

我猜到是什么问题了，应该是数据那块的瓶颈，但是我又没办法解，你可以打个时间戳看看取一次数据的时间。

能贴一下log么，我想看一下，顺便再问一下机器的负载如何

[ycdhqzhiai]

前面看错了，以这个为准，batch size 256 ,差不多1min 10个iter,cpu在15%左右

[610265158]

cpu preprare data的时候消耗时间有点长， 把batch size 改小一点吧，
还有opencv的多线程最好关掉，

建议用自己pc做，而不是服务器，可以试一下是不是速度快了

[ycdhqzhiai]

好的，谢谢