VRChat BotをROSのシステムを用いて実装します。
-
環境
- Windows10 64bit
- python=3.9
- NVIDIA Geforce RTX Graphic card
-
Windowsの場合は Visual Studio 2019をインストールする必要があります。
winget install Microsoft.VisualStudio.2019.Community
-
Install Miniforge3
https://github.com/conda-forge/miniforge -
ROS2をConda環境にインストール
Robostackのガイドを見てROS2をConda環境にインストールしてください。
このとき、cmakeなども一緒にインストールしてください。 https://robostack.github.io/GettingStarted.html -
依存関係のライブラリをインストール
-
pytorch
公式サイトからGPU付きのPyTorchを最初にインストールしてください。-
pip
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
-
conda
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
-
-
Whisper 公式サイト: https://github.com/openai/whisper
pip install git+https://github.com/openai/whisper.git@main
-
VRChatBot
https://github.com/Geson-anko/vrchatbotpip install git+https://github.com/Geson-anko/vrchatbot.git@main
-
setupotools==58.2.0
Pythonにおいてsetup.py
は非推奨になりましたが、ROS2はいまだに使用しているためエラーメッセージが出力を防ぎます。pip install setuptools==58.2.0
-
-
このリポジトリをクローンしてください。
-
OpenAIからAPI Keyを取得し、このリポジトリのルートに
API_KEY.txt
を作成して書き込んでください。 -
プロジェクトをビルドします。
いくつかWarningがでるかもしれませんが、Fatal
など失敗メッセージがでなければ問題ありません。# /path/to/vrchatbot_ros colcon build
-
ROSのセットアップスクリプトを実行します。以後、ターミナルを開くたび最初に実行してください。
プロジェクトのルートディレクトリで実行してください。
例- Powershell 7
./install/setup.ps1
- Powershell 7
-
実行
実行は全てプロジェクトのルートで行ってください。-
speech2text
ros2 run vrchatbot_ros speech2text -c ./configs/speech2text.toml
-
text_chat
ros2 run vrchatbot_ros text_chat -c ./configs/text_chat.toml
-
text2speech
ros2 run vrchatbot_ros text2speech -c ./configs/text2speech.toml
-