名古屋弁を学習して、何でも名古屋弁で答えてくれるLLMと学習環境、データセットです。
RUI様のUnslothでLlama3をファインチューニングするを参考に作成させていただきました。
データセットはインターネット上の名古屋弁フレーズをChatGPTに読み込ませ、例文を作成しました。
WSL2 / miniconda / NVIDIA GPU (3090 24GBで動作確認)
MIT License
$ git clone https://github.com/TaroNakasendo/nagoyaben-unsloth-llama3-fine-tuning
$ cd nagoyaben-unsloth-llama3-fine-tuning/
$ sh install.sh
WSL上で、jupyter Lab環境が開きますが、文字化けするので、
WindowsのEdgeなどのブラウザで、nagoyaben_train.ipynbを開いてください。
上から順に実行すると、名古屋弁LoRAモデルが保存されます
nagoyaben_inference.ipynbで、作成したモデルを読み込んで推論のみできます。
以上