Text2KGBench: A Benchmark for Ontology-Driven Knowledge Graph Generation from Text
Opened this issue · 0 comments
koujikozaki commented
一言でいうと
任意のオントロジーに基づいたテキストからKGを生成するLLMの能力を測定するベンチマーク
著者/所属機関
Nandana Mihindukulasooriya 1, Sanju Tiwari 2, Carlos F. Enguix 2, and Kusum Lata 3
- 1 IBM Research Europe, Dublin, Ireland
- 2 Universidad Autonoma de Tamaulipas, Victoria, Mexico
- 3 Sharda University, Greater Noida, India
DOI
https://doi.org/10.1007/978-3-031-47243-5_14
会議名(ジャーナル名)
The 22nd International Semantic Web Conference (ISWC2023)
トラック
Resources Track
Resource Type
Evaluation Benchmark
動機
LLMとKGの併用に関する研究のための、ベンチマークの確立
リソースの設計方針
正しい関係を用いて事実を抽出する能力を評価
RDF/OWL表現の処理や生成の能力を評価は対象外
新規性
テキストからのKG生成タスクにおける初のベンチマーク
リソースの再利用性/活用実績
著者らが主催するテキストからのKG生成のワークショップで提供予定
品質
不明
リソースの可用性
データセットはzenodo, コードはGithubで入手可能
次にすべきこと
性別や人種などのバイアスを考慮しベンチマークを拡張
読んだ範囲
斜め読み程度