Negative Sampling with Adaptive Denoising Mixup for Knowledge Graph Embedding

[koyus]

一言でいうと

DeMix: KGE のための、ネガティブサンプリングトリプルのノイズ除去手法の提案。

著者/所属機関

Xiangnan Chen, Wen Zhang, Zhen Yao, Mingyang Chen, and Siliang Tang

• Zhejiang University, Hangzhou, China

DOI

https://doi.org/10.1007/978-3-031-47240-4_14

会議名(ジャーナル名)

The 22nd International Semantic Web Conference (ISWC2023)

トラック

Research Track

動機

ほとんどの既存手法は、存在しないトリプルがnegative トリプルであると仮定する（閉世界仮説）が、この方法ではノイズが含まれる可能性がある。例えば、 KG が不完全で、真の事実が存在しない可能性がある。

手法

negative sampling トリプルを自己監視方式で判定しつつ高品質な negative トリプルを生成する、簡単に接続可能なノイズ除去mixup手法 DeMix を 提案。

• Marginal Pseudo‐Negative Triple Estimator (MPNE): KGEモデル自身の結果を基に、 擬似 negative トリプルと 真 negative トリプルに分割 。
• AdaptiveMixup (AdaMix): 適切な mix-up パートナーを選択し、Embedding空間上で混合して、partially positive トリプルやharder negative トリプルを生成。

背景

過去の negative sampling は検索ベースの方法であり、非効率的。CANS は外部情報収集に手作業が必要であり 、 Bernoulli はサンプリングスキームが固定。
既存手法 MixKG は、 KGE のため の hard negative トリプルの生成のために、既存 の MixUp 手法を活用しているが、提案手法ではノイズの 多い negative トリプルを動的に洗練。

結果

KG Completion タスクにおいて、 DeMix が他手法よりも優。（WN18RR での RotatE だと、指標によっては RW-SANS が優だが同程度か）
他のnegative sampling (Uniform, RW-SANS)と組合せることで、有意な改善。
Ablation Studyにより、各モジュールの有用性を検証。

考察

課題

将来的に、トレーニングセット内の見えないパターンを持つ雑音のあるトリプルを認識するように拡張し、この方法にアクティブラーニングを適用。

読んだ範囲

斜め読み程度