ローカル環境で動作する文章生成 AI チャットボットです。 CPU だけで動作します。（NVIDA のグラボは不要）
- 第 8 世代以降の Corei 3
- メインメモリ 8G バイト
- ストレージ 10G バイト（SSD を強く推奨）
- OS: Linux/Windows11 で動作を確認しています。
- その他: Linux 用の簡易インストーラ/サーバー起動用のスクリプトあり
任意のディレクトリで、付属の簡易インストーラスクリプトを実行してください。
bash ./install_linux.sh
本サイトからなんらかの方法で環境一式をダウンロードし、任意のフォルダに配置したのち、PowerShell から次のコマンドを実行してください。
python3 -m venv venv
venv/Scripts/activate
pip3 install -r requirements.txt
ct2-transformers-converter --model line-corporation/japanese-large-lm-3.6b-instruction-sft --low_cpu_mem_usage --output_dir line-sft --quantization int8 --force
python ct2-main.py
初回実行時のみ、インターネットから大量のダウンロードが発生するため、しばらくお待ちください。 エラーがなければ AI サーバーが起動しますので、 ブラウザから次の URL を開いてください。
http://127.0.0.1:8001/
次のような画面が表示されれば起動成功です。お楽しみください。
次の画像をクリックすると youtube で応答速度を確認できます。
- メモリ不足で言語モデル変換できない方は huggingface から変換済のモデルをダウンロードしてください。 もっともメモリを使う「ct2-transformers-converter」コマンドの実行をスキップできます。
- Windows 版インストーラの開発
- LoRA のサポート
MIT