关于无监督RGB-D SOD数据集的实验
Opened this issue · 3 comments
作者您好，最近拜读了您的A2S-v2，并用您提供的代码进行了复现，MAE结果如下：
第一阶段：d；第二阶段：d
| RGBD135 | NJUD | NLPR | SIP | |
|---|---|---|---|---|
| 原文 | .037 | .109 | .043 | .124 |
| 复现 | .063 | .159 | .063 | .166 |
第一阶段：cdot；第二阶段：d
| RGBD135 | NJUD | NLPR | SIP | |
|---|---|---|---|---|
| 原文 | .029 | .060 | .034 | .051 |
| 复现 | .033 | .069 | .041 | .071 |
复现的性能与原文似乎有一定差异，特别是只将rgb-d sod数据集用于第一阶段，请问作者出现这种差异的原因是什么？
论文中的Ours是否表示的是：在第一阶段只使用RGB-D SOD数据集呢？
感谢您对我们工作的关注。
我认为您可以从以下方面进行验证：
- 文中的Tab5提供了第一阶段训练得到的伪标签质量结果（经过CRF）。您可以先对比一下该结果，验证伪标签生成是否有差异。
- 您可以先下载我们提供的训练好的模型，验证其结果与文中是否有差异。
- 第二阶段训练时，我们发现会有比较严重的过拟合，因此我们是选用的训练过程中的最佳模型，而不是最后一轮的训练结果。
论文中的Ours是否表示的是：在第一阶段只使用RGB-D SOD数据集呢？
您的理解是正确的。
作者您好，我用您提供的模型在RGBD-TR-2185数据集上进行测试，MAE结果如下：
| RGBD-TR (MAE) | |
|---|---|
| Ours(原文) | .110 |
| Ours(提供的模型) | .138 |
| Ours(复现) | .147 |
| RGBD-TR (MAE) | |
|---|---|
| Ours_mm(原文) | .062 |
| Ours_mm(提供的模型) | .062 |
| Ours_mm(复现) | .062 |
从上述表中可以看到，使用mm设置的模型效果与论文中的结果一致，但是为什么在第一阶段只使用RGB-D SOD数据集得到的效果和论文中有一定差异呢？根据实验结果，您提供的模型（a2s_rgbd_split.pth）在RGBD-TR上仅有0.138的MAE以及0.658的F，与论文似乎还有一定差距，请问导致这种情况的原因是什么呢？
我测试的命令如下：
python test.py a2s --gpus 0 --stage 1 --weight ./Stage1/a2s_rgbd_split.pth --crf
输出结果如下：
Dataset d_RGBD-TR : |################################| 2184/2185 Mean-F: 0.658, EM: 0.682, MAE: 0.138, IOU: 0.438, dis: 0.144.
目前的代码是较早的版本，我们会尽快更新到最新的代码。
我们已经更新了训练好的模型，您可以再次下载测试一下