bubbliiiing/hrnet-pytorch

关于开启FP16训练速度大幅下降

jctc1234 opened this issue · 10 comments

jctc1234 commented

伟大的up、尊敬的b站硕导，您好。在本项目中开启混合精度训练后训练速度大幅度下降，训练时间约为原来的3倍。同时尝试在up的pspnet库中采用了混合精度训练，速度也大幅下降。请问可能是什么原因呢。。
配置：2700x+1660显卡+24g内存

jctc1234 commented

好像是我的显卡没有tensorcore 哈哈哈，呜呜呜呜呜

bubbliiiing commented

tensor core？

jctc1234 commented

20系以上的游戏显卡才有 哭
Tensor Core 是 NVIDIA 的先进技术，可实现混合精度计算，并能根据精度的降低动态调整算力，在保持准确性的同时提高吞吐量。从Volta到Turing到Ampere，Tensor Core已经发展了三代，它的功能也从只支持FP16混合精度的训练，到支持训练，支持FP64的计算。Tensor Core已经具备了很好的通用性。

第一代Tensor Core，为AI而生
第一代Tensor core首次出现在Volta架构，通过 FP16 和 FP32 下的混合精度矩阵乘法提供了突破性的性能 – 与 NVIDIA Pascal 相比，用于训练的峰值 teraFLOPS (TFLOPS) 性能提升了高达 12 倍，用于推理的峰值 TFLOPS 性能提升了高达 6 倍。这项关键功能使 Volta 提供了比 Pascal 高 3 倍的训练和推理性能。

bubbliiiing commented

0 0 可是我的笔记本也是1660ti，效果还可以啊

jctc1234 commented
jctc1234 commented

不好意思。。我的显卡是1066.。。一开始我就说错了。。。十分抱歉。
经测试，3090开启后确实显著显存下降且训练速度略有提高。确实是1066不支持混合精度

bubbliiiing commented

好的

jctc1234 commented
jctc1234 commented