EasyLightChatAssistant は軽量で検閲や規制のないローカル日本語モデルの LightChatAssistant を、KoboldCpp で簡単にお試しする環境です。
KoboldCppに簡単なノベル生成用の UI を被せた EasyNovelAssistant も公開しています。
- Aratako/LightChatAssistant-2x7B-optimized-experimental-GGUF に対応しました。
- アップデート後に
Run-*.batで起動できなくなった場合は、空のフォルダでInstall-EasyLightChatAssistant.batを実行して再インストールしてください。- KoboldCpp とモデルのバージョン相性によりますが、すべてを最新にすれば問題は発生しません。
- ドキュメントに『
koboldcpp.exeの直接起動』を追加しました。koboldcpp.exeを直接起動すると、KoboldCpp を様々な設定で利用できます。
- 束ねる LLM を4つに増やした Aratako/LightChatAssistant-4x7B-GGUF に対応しました。
以下の手順で更新してください。EasyLightChatAssistant-*.batを削除します。Install-EasyLightChatAssistant.batをダウンロードし直して上書きして、実行します。
- 起動 bat ファイルを
Run-*.batにリネームしました。 - 起動 bat ファイルを削除する
DeleteAllRunBats.batを追加しました。DeleteAllRunBats.batとInstall-EasyLightChatAssistant.batを実行すると初期状態に戻せます。
- Aratako/LightChatAssistant-4x7B-GGUF の
4x7B_IQ4_XS対応を追加しました。
- 最近の NVIDIA ビデオカードを積んだ Windows 10 以降の PC で動作します。
- RAM・VRAM・ストレージの必要容量は使用するモデルによります。
- 最低動作環境としては RAM 16GB と VRAM 4GB 程度でも、
iq3xxs_imatrix_L0やiq4xs_imatrix_L0ならそこそこ動作するはずです。 - KoboldCpp を直接設定すれば、Radeon や CPU でも動作するはずです。
Install-EasyLightChatAssistant.batを右クリックからダウンロードして、インストール先のフォルダでダブルクリックして実行します。WindowsによってPCが保護されましたと表示されたら、詳細表示から実行します。- ダウンロードして利用するファイルに問題がなければ
yを入力します。
- プログラム起動用の
Run-[量子化レベル]_L[GPU レイヤー数].batが複数生成されますので、環境にあった bat を実行します。- 量子化レベルのビット数を
q3からq4,q6,q8に上げると、必要メモリが増えて動作も遅くなりますが、精度が高くなります。 - GPU レイヤー数を上げると動作が早くなります。
- VRAM 12GB なら
iq4xs_imatrix_L25(速度重視ならiq3xxs_imatrix_L33)、6GB~8GBならiq3xxs_imatrix_L11、4GB以下ならiq3xxs_imatrix_L0を実行します。- VRAM 12GB 未満で品質を重視するなら
iq4xs_imatrix_L0も選択肢です。 - VRAM が 16GB 以上なら
iq4xs_imatrix_L33から q のより高いものと比較できると良さそうです。
- VRAM 12GB 未満で品質を重視するなら
Windows セキュリティのネットワークへのアクセス許可はキャンセルでも動作します。
- 量子化レベルのビット数を
- Web ブラウザに
Kobold AI Liteが表示されましたら、画面上部のSettingsから KoboldCpp の初期設定をします。
スライダーでなく数値入力欄を直接編集することで、スライダーの範囲を超えた値を入力できます。Max Ctx. Tokens:32768Amount to Gen.:512(生成文の長さを256~2048などお好みで設定)Instruct Tag Preset:Llama 2 Chat
返答が英語になってしまう現象がInstruct Tag PresetをVicunaにすると軽減された方もいるようです。
DeleteAllRunBats.batを実行してRun-*.batを削除します。DeleteAllRunBats.batが存在しない場合はEasyLightChatAssistant-*.batを手動で削除します。
- 新しく
Install-EasyLightChatAssistant.batを右クリックからダウンロードして、既存のファイルを上書きして実行します。
Run-*.bat の中身はモデルファイルのダウンロードと、オプションを指定しての koboldcpp.exe の起動のみです。
koboldcpp.exe を直接起動してランチャでオプションを指定することで、お好みの設定で KoboldCpp を利用することができます。
動作環境などによる問題があった場合に、適切に設定を変更することで問題に対処できる可能性があります。
以下は Run-*.bat で指定しているオプションです。
--usecublas: CuBLAS により NVIDIA 製のビデオカードでの動作を高速化します。--gpulayers 0~33: ビデオカードの VRAM をどの程度使用して高速化するかを0から33の値で指定します。- 増やすと高速化し、
33では LightChatAssistant 全体を VRAM に載せようとします。
- 増やすと高速化し、
--contextsize 32768: LightChatAssistant がサポートしている 32K コンテキストを指定します。--model *.gguf: KoboldCpp で利用できる GGUF 形式のモデルファイルへのパスを指定します。--launch: Web ブラウザでページを自動的に表示します。
以下の画像の赤線部分は、koboldcpp.exe を直接起動した際の該当設定箇所です。
Presets: CuBLAS などの高速化手法が自動的に設定されます。GPU Layer:0から動作を確認しつつ、GPU の VRAM 使用量を増やしてください。Context Size:32768を指定します。Model:Browseで GGUF(*.gguf) モデルファイルを指定します。Launch: KoboldCpp 本体を起動して、Web ブラウザにページを表示します。
Quick Launch 以外のタブで様々な設定を変更することができます。
各設定項目の内容については下の Help の 公式ドキュメント を、Web ブラウザで和訳でもしながら確認してください。
KoboldCpp には様々なモードがありますが、今回は Instruct モードで文章の続きを生成します。
初回起動時はすでに Instruct モードになっています。
もし他のモードにしていた場合は、画面上部の Scenarios から New Instruct を選択してください。
- 右下の
Submitボタンの上にあるAllow Editingを有効にします。 - 出力欄を直接編集して、続きを書かせたい文章を記入します。
- 下の入力欄を使うと
{{[INPUT]}}と{{[OUTPUT]}}が挿入され、返答が英語になりがちです。
- 下の入力欄を使うと
- 右下の
Generate Moreで続きの文章が生成されます。
{{[INPUT]}} と {{[OUTPUT]}} が残っていると返答が英語になりがちなため、削除しています。
- 生成されている文章の方向性が意図にそぐわない場合は、
[ABORT]で生成を止めて、Retryで再生成します。 - 生成された文章を手直ししたい場合は、出力欄を直接編集します。
Generate Moreでさらに続きを生成します。
「痴人の愛 あらすじ」で Google 検索すると、AI があらすじを用意してくれました。
これを以下のように入力して生成し、良さげな目次を選びます。
ストーリーライン：
主人公の河合譲治は、カフェで働く15歳のナオミと出会い、妻にします。
しかし、ナオミは予想もしなかった女性へと変貌していきます。
譲治はナオミを自分好みの女性に育て上げようとしますが、
奔放で妖艶さを増すナオミに溺れ振り回されます。
文体：
ハードコアポルノ。おとなしい河合譲治の一人称視点。
目次：
良さげな目次を用意できたら、各章を順に生成します。
意図にそぐわない進行をしたら、直接編集して軌道修正します。
軌道修正しつつ生成ガチャを回して、良い結果を拾い上げる使い方です。
- LightChatAssistant は省サイズで動作が高速ですが、賢いわけでは有りません。
- それっぽい続きの文章をいくつも出力して、出力結果を人が選ぶ運用が向いています。
- Geforce RTX 3060 12GB 環境では、
iq4xs_imatrix_L25が私のイチオシです。
- 文体・ルール・章立て・あらすじなどを記載しておくことで、生成文章をある程度コントロールできます。
- 適当な好みの文章を入力して、雑に続きを生成することもできます。
- ローカル動作のため、検閲や規制がありません。
- オンラインサービス向けのプロンプト などから脱獄部分を取り除いても、ちゃんと続きを生成できます。
ただし、キャラのパラメータ操作といった賢さを必要とする文章の生成は、得意ではありません。
- オンラインサービス向けのプロンプト などから脱獄部分を取り除いても、ちゃんと続きを生成できます。
- 文章の生成時に最後の中途半端な文は削除されます。
SettingsのAdvancedにあるTrim Sentencesを無効にすると、最後の中途半端な文が削除されなくなります。
- KoboldCpp には他にも多数の機能があります。
直接koboldcpp.exeを起動すれば、自由に利用できます。- KoboldCpp FAQ 和訳
- Kobold.cppで小説っぽいのを作る
- Memory, Author's Note and World Info
- 32K コンテキストで長い文章を利用できるため、雑に書き連ねた文章を直接編集で方向性を正しながら続きを生成することもできます。
このリポジトリの内容は MIT License です。