训练时间
Closed this issue · 6 comments
想问一下，在full+supp数据集上训练VAD_base_e2e_b2d.py，要多长时间。
bench2drive的paper里面用的是什么gpu、用时多长。
VAD 8x H800 3 days
UniAD 8x H800 5 days (not include BEVFormer)
full+supp 数据是 base的10倍左右，epoch的数目不需要很大，可自行调整
我训练时系统变成这样了，你们是否有测试过训练代码的鲁棒性。
这是因为full+supp的数据量很大，生成的数据文件 b2d_infos_train.pkl 较大。训练时dataloader会将整个pickle全部读入内存中，可能会占用较大的内存。你可以在保证datatime较小的情况下减少worker的数目，或者将pickle拆分。pickle内部为列表，通过索引取得对应数据。你可以将其拆成若干份，在获取数据时仅读入对应的pickle，而不将全部数据都读入内存中。
VAD 8x H800 3 days UniAD 8x H800 5 days (not include BEVFormer) full+supp 数据是 base的10倍左右，epoch的数目不需要很大，可自行调整
你们使用8卡H800，在full+supp+base数据（约400万帧）的情况下，训练VAD_base 6个epoch，只需要3天么？？
@jayyoung0802 你们用训练数据用的是base还是full, 我用full+base训练时间比你的久
VAD 8x H800 3 days UniAD 8x H800 5 days (not include BEVFormer) full+supp 数据是 base的10倍左右，epoch的数目不需要很大，可自行调整
Base