Rethinking Uncertain Missing and Ambiguous Visual Modality in Multi-Modal Entity Alignment

[tarohi24]

一言でいうと

Multi-Modal Entity Alignment において、画像が曖昧な場合・不十分な場合でも安定した精度が出る手法を提案

著者/所属機関

Zhuo Chen,Lingbing Guo, Yin Fang, Yichi Zhang, Jiaoyan Chen, Wen Zhang, Jeff Z. Pan, Yangning Li and Huajun Chen

• Zhejiang Univ.,

DOI

https://doi.org/10.1007/978-3-031-47240-4_7

会議名(ジャーナル名)

The 22nd International Semantic Web Conference (ISWC2023)

トラック

Research Track

動機

実正解の Multi-Modal Entity Alignment はしばしば画像に欠損があったり不十分

手法

画像の incompleteness, noise の影響を緩和するような
ニューラルネットワークの損失関数を導入する

背景

画像の incompleteness, noise を緩和する機構がない場合、
画像が EA の精度にネガティブな影響を及ぼす

結果

DBPedia のいくつかの言語対 (ZE-EN, JA-EN, FR-EN) で実験し、いずれのデータに対しても既存手法より高い H@1, MRR を記録

考察

entity の画像の含有率が低い場合、特に提案手法の優位性が目立った

課題

画像以外の modality (例: attribute) の影響はまだ調べられていない

読んだ範囲

斜め読み程度