多模态融合综述
这里就是计算机视觉存在的图片的几种传感器~
利用多源信息有效发现潜在模式,利用好模态之间的互补性~
重点:
一致性一般被称作common/sharing。 互补性就是会被称为independent/mutual。 兼容性就是他们该如何混合呢?
第二种就是多模态数据高阶张量模型。
这个的核心**就是我们不再从pair的角度上进行约束,而是从全局/整体的角度上进行约束。
表示学习就是多模态共享信息进行保留,特有信息进行分离。
互补性就是尽量让其独立!(希尔伯特独立性标准)