关于CLIC Professional Validation dataset上的MS-SSIM结果
Opened this issue · 4 comments
您好，我想确认一下，对于CLIC数据集，你们是在CLIC 2020 professional validation set的41张图片上进行测试的吗？
我正在CLIC 2020 professional validation set上做一些测试，由于您暂未发布面向MS-SSMI训练的模型。我用compressai官方发布的cheng2020-attn (optimized for MS-SSIM)模型，测出来的结果如下（为了节约时间，使用的是entropy-estimation模式，但和实际压缩差别不大）：
{
"ms-ssim": [
0.9485660457029575,
0.9640006800977196,
0.9746105394712309,
0.982909100811656,
0.9871920754269856,
0.9904760369440404
],
"bpp": [
0.07344438667159255,
0.11335148580554055,
0.1676517518736967,
0.25349851770371923,
0.35020289660953896,
0.4888123557334993
],
}
以dB为单位，则MS-SSIM为 [
12.8875,
14.43706,
15.95347,
17.67235,
18.92521,
20.21182,
]
我测出来的结果和论文中Figure 7右图中的结果相差较大（论文中结果整体偏高），您知道问题出在哪吗？是数据集的问题，还是测试细节上有一些问题？
另外面向MSE优化的cheng2020-attn模型，我测出来结果如下：
{
"psnr": [
30.32762732156893,
31.62418156135373,
33.03751177904083,
34.74842425090511,
36.019728218636864,
37.394848800287015
],
"bpp": [
0.08608534591408765,
0.12756635571216665,
0.19314934858461705,
0.3055826674510793,
0.42445681334995644,
0.5825808095495876
],
}
和论文中的结果也略有差别，但差别不大。
对，是在CLIC 2020 professional validation set的41张图片上进行测试的。
你的意思是说你测试cheng2020的结果整体会偏低？对吧。
我论文里面cheng2020的结果是从cheng2020的官方代码库拿到的结果。
我没记错的话，compressai官方开源的结果和cheng2020官方给的那个结果是比较一致的。
因为你是在compressai上测试的，所以我对比了一下你给的结果和compressai的结果，你测试的结果似乎要比compressai上给的结果低了一些。所以我建议你想和compressai的结果对齐？也就是上面那个链接，clic2020 professional validation set的结果应该是在clic2020-mobile这个文件夹下的。
我也不太清楚是哪里的问题导致你测试结果偏低，但你用compressai的pretrained models，应该是要能得到跟compressai里一样的结果?
所以我感觉你在kodak上测试下，看结果能不能和compressai的结果对应上。如果kodak对的上，clic对不上，那应该就是你用的41张clic数据集可能存在一些问题。如果kodak也对不上，那可能就是其他地方的问题了。
您好，感谢回复！
我这边测试了一下，Kodak数据集上是能对上的，可能是我用的CLIC数据集有些问题。
关于CLIC的数据集，我有一些疑问：
- Compressai的issue#81和issue#122中提到过，是分别在professional和mobile的test set上测试的。我的理解就是mobile文件夹下是mobile test set，professional文件夹下是professional test set。而你提到说clic2020 professional validation set的结果应该是在clic2020-mobile这个文件夹下，这个是什么情况？可以解释一下吗？我试了试，compressai clic mobile里的结果确实能和cheng2020官方给的结果对上。
- 你能提供一下你们使用的CLIC 2020 professional validation set的下载链接吗？我应该是从这里下的https://data.vision.ee.ethz.ch/cvl/clic/professional_valid_2020.zip
- 我现在找不到当时clic2020的下载链接了，但我在你给的链接上下了数据，跟本地的对比，数据是没有问题的。
1.这个问题，目前就我看到的论文中对clic2020的测试大部分应该都是clic2020 professional validation set，也就是那41张图像。如果我没记错的话，clic2020 professional validation set的结果似乎是和compressai中mobile下的结果能对应上的。确实也比较奇怪吧，具体这里面的原因，我没仔细去测试，所以也不太清楚怎么回事。
您好，我测了一下，如果用CLIC mobile test下的178张图片来测试，得到的结果和compressai中mobile下的结果能对上。这样的话，compressai这边的结果就没问题，但不清楚为什么cheng2020论文中的结果是和compressai中mobile对上的。
另外，请问你们有准备release面向MS SSIM优化的模型吗？