关于无监督的问题

[ntuwork]

感谢开源代码，非常好的工作！

我有一个关于无监督的疑问。本文试图引入更大的模型来进行无监督蒸馏。我们知道CLIP计算损失时是需要图-文匹配的，那么拿来一个数据集后，预先储存的文本表示可以作为无监督数据集的匹配对吗？这点没搞清楚，或者说，这些无监督的图片是用什么作为匹配对的呢？

期待您的回答，谢谢！

[zhengli97]

使用的是，预训练完的教师对所有类inference一遍之后的text feature

[ntuwork]

使用的是，预训练完的教师对所有类inference一遍之后的text feature

也就是说，前提条件是，所采用的无监督拓展数据集的类别集合必须是预训练数据集的类别集合的子集，或者一样，我理解的对吗？

[zhengli97]

不对。以imagenet为例，预训练是在base class 500个类上做的预训练，无监督是在1000个类上训的。这些问题你跑遍代码仔细看看就清楚了。