gpt_index_japanese_trial

このリポジトリは、gpt-index(0.2.5)をOpenAI APIの代わりにHuggingfaceの日本語モデルを使って行った試みのスクリプトを共有するためのものです。

動かしてみたい場合

pip install requirements.txtを行ってgpt-index_trial.ipynbを実行してください。

create_dataset.ipynbを使ってtrain.csvを作成し Google Colab ProのA100でtrain_qa_refine.ipynbを実行してください。

ベースモデルをmediumサイズに変更することで、T4でも学習が可能です。

学習環境の依存ライブラリはrequirements-train.txtに記載しています。