大規模言語モデル入門

「大規模言語モデル入門」（技術評論社, 2023）のリポジトリです。

コード

コードはすべて Google Colaboratory で動作確認を行なっています。コードの中で利用したデータセットや作成したモデルはHugging Face Hubにて公開しています。

⚠️ 2023/7/28 現在、MARC-ja のデータセットの配布元のリンクが切れており、書籍上の 5.2, 5.3, 5.5.4 に掲載されているコードにおいて、データセット読み込みの箇所でエラーが出る状態です。現在問い合わせのメールを送り、復旧待機中です。

これに応じて、日本語感情分析データセットである WRIME を使用したノートブックを追加致しましたので、コードを動作させたい方はご活用ください。

章	節／項	Link
第 1 章はじめに	1.1 transformers を使って自然言語処理を解いてみよう 1.2 transformers の基本的な使い方	Link
第 2 章 Transformer	2.2 エンコーダ	Link
第 3 章大規模言語モデルの基礎	3.2 GPT（デコーダ） 3.3 BERT・RoBERTa（エンコーダ） 3.4 T5（エンコーダ・デコーダ）	Link
	3.6 トークナイゼーション	Link
第 5 章大規模言語モデルのファインチューニング	5.2 感情分析モデルの実装	Link (MARC-ja) Link (WRIME)
	5.3 感情分析モデルのエラー分析	Link (MARC-ja) Link (WRIME)
	5.4.1 自然言語推論の実装（訓練）	Link
	5.4.1 自然言語推論の実装（分析）	Link
	5.4.2 意味的類似度計算の実装（訓練）	Link
	5.4.2 意味的類似度計算の実装（分析）	Link
	5.4.3 多肢選択式質問応答モデルの実装（訓練）	Link
	5.4.3 多肢選択式質問応答モデルの実装（分析）	Link
	5.5.4 LoRA チューニング（感情分析）	Link (MARC-ja) Link (WRIME)
第 6 章固有表現認識	6.2 データセット・前処理・評価指標 6.3 固有表現認識モデルの実装 6.4 アノテーションツールを用いたデータセット構築	Link
第 7 章要約生成	7.2 データセット 7.3 評価指標 7.4 見出し生成モデルの実装 7.5 多様な生成方法による見出し生成	Link
第 8 章文埋め込み	8.3 文埋め込みモデルの実装	Link
	8.4 最近傍探索ライブラリ `Faiss` を使った検索	Link
第 9 章質問応答	9.3 ChatGPT にクイズを答えさせる	Link
	9.4.3 BPR の実装	Link
	9.4.4 BPR によるパッセージの埋め込みの計算	Link
	9.5 文書検索モデルと ChatGPT を組み合わせる	Link

正誤表

本書の正誤表は以下のページで公開しています。

https://github.com/ghmagazine/llm-book/wiki/errata

pratikbarjatya/llm-book

大規模言語モデル入門

コード

正誤表

リンク