chunmeifeng/T2Net

关于相关系数 rij

Opened this issue · 0 comments

您论文中描述 R 的计算是 Q 和 K 做patch划分后,Q 的 patch 与 K 的 patch 两两之间做内积所得到的一个值(在您的代码中一个patch就是3*3的像素块)。请问为什么两个任务分支的特征图的 patch 两两做内积运算所得到的就是两个分支的相关性?
在我的理解中两张图像的 patch 做内积,就是 patch 的对应位置像素值相乘并相加。例如两个背景 patch 做内积,就是两个趋于0的patch相乘得到的还是0,虽然他们都是背景,高度相关但算出来的rij = 0。如果把其中一个背景patch换成脑区patch,尽管两个patch完全不相关了,但他们的内积算出来反而会变大(因为patch从背景变成脑区像素值变高了)
所以我不是很清楚这个相关性 rij 具体是指什么,您所描述的相关性是怎么定义的,如何理解?