VRMにしゃべってもらうことを体験するサンプルリポジトリです。
VRMVoicerWithChatGPT.mp4
- Unityを実行すると、音声入力待ちの状態になります。(上記動画では"塩の作り方を教えてください"といった後です)
- 音声入力が完了すると、テキストで画面下に表示されます。(上記動画の"塩の作り方を教えてください"の箇所です)
- 2に続いて、ChatGPTへテキストを基にリクエストを出してレスポンスを待ちます。(回答内容によって10秒ほどかかることがあります)
- ChatGPTからレスポンスが返ってくると、その内容をVOICEVOXに連携して音声合成を待ちます。
- 音声合成が完了すると、VRMのBlendshapeとOVRLipSyncを利用してVRMのアバターがしゃべりだしてくれます。(上記動画はこの5からです)
- Windows10(音声入力がWindows前提になっています)
- Unity 2021.2.4f1
- Oculus LipSync v29
- voicevox_engineはこのリポジトリに含まれていません(使い方を参照しくてください)
- 動画の背景は有料Assetなのでこのリポジトリ含まれていません
- OpenAIのAPIKeyを作成して、SampleSceneにいるTesterのInspectorのApi Keyに設定します
- voicevox_engineをdockerで起動します。(※1)
- Unityを実行して、ConsoleにStart speech recognition, waiting for your voice...と出てきていることを確認します
- 話しかけてください!
※1 dockerでなくても大丈夫で、こちらで代替できます。 GUIを起動するだけ内部的にvoicevox_engineが起動されるため、それを利用できます。
- ときどき音声認識がうまく反応しないときがあります。その場合、再実行してみてください。
- vrmをドラッグアンドロップでインポートします。
- 1でインポートしたvrmをHierachyに配置します。
- ドレ(dore)のPositionをコピーして、カメラ位置まで移動させます。
- おそらく後ろを向いているのでY軸で180度回転させます。(doreのrotation参照)
- ドレを削除します。
Library | License |
---|---|
unity-voicevox-bridge | MIT license |
voicevox_engine | Unknown, LGPL-3.0 licenses found |
VRMLipSyncContextMorphTarget | Unknown, |
UniVRM | MIT license |
UniTask | MIT license |