都已经够刷到sota了，为什么还要上未来帧？
yingfei1016 opened this issue · 11 comments
什么意思，那没刷到sota就能上未来帧？
我是说，就算不用未来帧，你们也能刷到第一了，非要追求一个未来帧有什么意义。
但是你刷一个未来帧，后面其他人刷sota也要刷个未来帧，把资源都浪费到了不必要的事情上
首先我又不是第一个上未来帧的，其次未来帧在业务数据也存在使用价值，最后如果你觉得这样不合理，那应该让nuscenes官方出一个选项，future_frame=True/False。
这种官方回答真的没必要，未来帧在业务数据有没有用大家心里也都清楚。我也管不了官方的事情，我只是觉得真的没太大必要，用未来帧刷这么高的点，后面其他人投论文就不好投了。如果是为了70的KPI，哪怕你用ensemble刷个点，我也会说一句牛皮
你投论文该怎么比就怎么比呗。。没用未来帧就和没用未来帧的对比，这和好不好投论文有什么关系？
这种官方回答真的没必要，未来帧在业务数据有没有用大家心里也都清楚。我也管不了官方的事情，我只是觉得真的没太大必要，用未来帧刷这么高的点，后面其他人投论文就不好投了。如果是为了70的KPI，哪怕你用ensemble刷个点，我也会说一句牛皮
我已经向nuscenes官方申请加future_frame的tag。
如果无法新增tag，我选择撤销offline模型的榜单公示，榜单第一并不重要。
不过，我想说几点：
1）天天盯着指标刷的公司，注定成功不了；盯着公开数据集指标提出的方法，也注定没什么价值。
2）未来帧训练，对于业务数据标注具备非常重要的意义。“未来帧在业务数据有没有用大家心里也都清楚”，这句话暴露了你们公司的水平。
3）如果想保持公开榜单干净，能让更多人加入，那某些公司就应该从自己做起。就比如引入ViT-Large来刷榜，这增加的成本可比未来帧大多了，而且这种大backbone的研究和下游具体task的研究完全可以并行，没什么价值。而未来帧如何使用，确实是值得探索的，比如如何将未来帧的训练推理成本降到与单帧一致。
聊一下我对大backbone 刷榜的看法。
从我们自身业务实践的角度出发，VoVNet 乃至vit-L 这种规模的backbone上的模型，对于车端的价值基本是0（因为根本跑不起来嘛）。这类“大”模型的主要用途还是云端预刷数据作为真值使用，在该阶段，不管是模型阶段用未来帧，还是在后处理阶段用未来帧，都是很基础的做法，在实际业务系统中带来的提升也很明显。
因此，我认为大模型 + 未来帧去探索感知模型是很有价值的做法，展示了离线真值系统的上限，并非“没有必要”。唯一有影响的可能是“刷榜”这个事情本身。所以，最好的方式还是nuscenes 官方能够加个tag 吧，区分开来，大家探索更自由不受束缚一些。
OK，我保留我的意见，关于未来帧的看法每个人看法不同，再争论也没有意义。
其次，对于刷榜的问题，我同意你的看法，我们从来没有以刷榜为目标，要不然我们也不会在榜二待那么久，你也没必要对公司恶语相向，这样反而拉低你的level。
我们的工作重心早就不在自动驾驶感知上了，仕豪把ViT Large code开源给你们的时候，我们也清楚以sparse4D v3的性能刷个榜一很容易。我唯一care的只是一个良好的社区生态，如果某个科研机构做出一个比较好的工作，但没有资源去刷未来帧，实事求是的讲，从宣传的角度讲还是会被未来帧的方法压一头，所以我希望榜一能起到模范带头作用，尤其是你们性能已经这么高的情况下。
这种官方回答真的没必要，未来帧在业务数据有没有用大家心里也都清楚。我也管不了官方的事情，我只是觉得真的没太大必要，用未来帧刷这么高的点，后面其他人投论文就不好投了。如果是为了70的KPI，哪怕你用ensemble刷个点，我也会说一句牛皮
我已经向nuscenes官方申请加future_frame的tag。 如果无法新增tag，我选择撤销offline模型的榜单公示，榜单第一并不重要。 不过，我想说几点： 1）天天盯着指标刷的公司，注定成功不了；盯着公开数据集指标提出的方法，也注定没什么价值。 2）未来帧训练，对于业务数据标注具备非常重要的意义。“未来帧在业务数据有没有用大家心里也都清楚”，这句话暴露了你们公司的水平。 3）如果想保持公开榜单干净，能让更多人加入，那某些公司就应该从自己做起。就比如引入ViT-Large来刷榜，这增加的成本可比未来帧大多了，而且这种大backbone的研究和下游具体task的研究完全可以并行，没什么价值。而未来帧如何使用，确实是值得探索的，比如如何将未来帧的训练推理成本降到与单帧一致。
同感，引入ViT-Large刷榜真的对那些计算资源不充足的研究者不友好。今年投稿CVPR2024就怕，就怕review提没用ViT-Large做实验，是真的做不起啊......