/japanese-ir-tutorial

Japanese IR tutorial　日本語情報検索のチュートリアル

Primary LanguagePython

日本語情報検索チュートリアル

このチュートリアルでは，日本語のテストコレクションを用いて，従来の単語一致による検索，密検索の代表的なモデルであるDPR，疎検索の代表的なモデルであるSPLADEを実行し，それらの性能を比較する実験が体験できます．

  1. 環境設定
  2. PyTerrierによる検索
  3. 教師あり密検索
  4. 教師あり疎検索
  5. データセット準備

将来追加する予定：

  • 密検索モデルの中身を変更することでPyTorchの扱いや深層学習について学ぶ
  • 統計的検定を実施する方法について学ぶ
  • MLflowとHydraによる実験管理について学ぶ