/llm-book

「大規模言語モデル入門」(技術評論社, 2023)のGitHubリポジトリ

Primary LanguageJupyter NotebookApache License 2.0Apache-2.0

大規模言語モデル入門

大規模言語モデル入門」(技術評論社, 2023)のリポジトリです。

コード

コードはすべて Google Colaboratory で動作確認を行なっています。 コードの中で利用したデータセットや作成したモデルはHugging Face Hubにて公開しています。

⚠️ 2023/7/28 現在、MARC-ja のデータセットの配布元のリンクが切れており、書籍上の 5.2, 5.3, 5.5.4 に掲載されているコードにおいて、データセット読み込みの箇所でエラーが出る状態です。 現在問い合わせのメールを送り、復旧待機中です。

これに応じて、日本語感情分析データセットである WRIME を使用したノートブックを追加致しましたので、コードを動作させたい方はご活用ください。

節/項 Colab Link
第 1 章 はじめに 1.1 transformers を使って自然言語処理を解いてみよう
1.2 transformers の基本的な使い方
Open in Colab Link
第 2 章 Transformer 2.2 エンコーダ Open in Colab Link
第 3 章 大規模言語モデルの基礎 3.2 GPT(デコーダ)
3.3 BERT・RoBERTa(エンコーダ)
3.4 T5(エンコーダ・デコーダ)
Open in Colab Link
3.6 トークナイゼーション Open in Colab Link
第 5 章 大規模言語モデルのファインチューニング 5.2 感情分析モデルの実装 Open in Colab
Open in Colab
Link (MARC-ja)
Link (WRIME)
5.3 感情分析モデルのエラー分析 Open in Colab
Open in Colab
Link (MARC-ja)
Link (WRIME)
5.4.1 自然言語推論の実装(訓練) Open in Colab Link
5.4.1 自然言語推論の実装(分析) Open in Colab Link
5.4.2 意味的類似度計算の実装(訓練) Open in Colab Link
5.4.2 意味的類似度計算の実装(分析) Open in Colab Link
5.4.3 多肢選択式質問応答モデルの実装(訓練) Open in Colab Link
5.4.3 多肢選択式質問応答モデルの実装(分析) Open in Colab Link
5.5.4 LoRA チューニング(感情分析) Open in Colab
Open in Colab
Link (MARC-ja)
Link (WRIME)
第 6 章 固有表現認識 6.2 データセット・前処理・評価指標
6.3 固有表現認識モデルの実装
6.4 アノテーションツールを用いたデータセット構築
Open in Colab Link
第 7 章 要約生成 7.2 データセット
7.3 評価指標
7.4 見出し生成モデルの実装
7.5 多様な生成方法による見出し生成
Open in Colab Link
第 8 章 文埋め込み 8.3 文埋め込みモデルの実装 Open in Colab Link
8.4 最近傍探索ライブラリ Faiss を使った検索 Open in Colab Link
第 9 章 質問応答 9.3 ChatGPT にクイズを答えさせる Open in Colab Link
9.4.3 BPR の実装 Open in Colab Link
9.4.4 BPR によるパッセージの埋め込みの計算 Open in Colab Link
9.5 文書検索モデルと ChatGPT を組み合わせる Open in Colab Link

正誤表

本書の正誤表は以下のページで公開しています。

https://github.com/ghmagazine/llm-book/wiki/errata

リンク