/VRChatBotROS

ROSを用いてVRChat Botを並列処理に

Primary LanguagePythonMIT LicenseMIT

VRChat Bot ROS

VRChat BotをROSのシステムを用いて実装します。

Installation

  1. 環境

    • Windows10 64bit
    • python=3.9
    • NVIDIA Geforce RTX Graphic card

  2. Windowsの場合は Visual Studio 2019をインストールする必要があります。

    winget install Microsoft.VisualStudio.2019.Community

  3. Install Miniforge3
    https://github.com/conda-forge/miniforge

  4. ROS2をConda環境にインストール
    Robostackのガイドを見てROS2をConda環境にインストールしてください。
    このとき、cmakeなども一緒にインストールしてください。 https://robostack.github.io/GettingStarted.html

  5. 依存関係のライブラリをインストール

    1. pytorch
      公式サイトからGPU付きのPyTorchを最初にインストールしてください。

      • pip

        pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117

      • conda

        conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

    2. Whisper 公式サイト: https://github.com/openai/whisper

      pip install git+https://github.com/openai/whisper.git@main

    3. VRChatBot
      https://github.com/Geson-anko/vrchatbot

      pip install git+https://github.com/Geson-anko/vrchatbot.git@main

    4. setupotools==58.2.0
      Pythonにおいて setup.pyは非推奨になりましたが、ROS2はいまだに使用しているためエラーメッセージが出力を防ぎます。

      pip install setuptools==58.2.0

プロジェクトの実行

  1. このリポジトリをクローンしてください。

  2. OpenAIからAPI Keyを取得し、このリポジトリのルートにAPI_KEY.txtを作成して書き込んでください。

  3. プロジェクトをビルドします。
    いくつかWarningがでるかもしれませんが、Fatalなど失敗メッセージがでなければ問題ありません。

    # /path/to/vrchatbot_ros
colcon build

  4. ROSのセットアップスクリプトを実行します。以後、ターミナルを開くたび最初に実行してください。
    プロジェクトのルートディレクトリで実行してください。
    例

    • Powershell 7 
      ./install/setup.ps1

  5. 実行
    実行は全てプロジェクトのルートで行ってください。

    • speech2text

      ros2 run vrchatbot_ros speech2text -c ./configs/speech2text.toml

    • text_chat

      ros2 run vrchatbot_ros text_chat -c ./configs/text_chat.toml

    • text2speech

      ros2 run vrchatbot_ros text2speech -c ./configs/text2speech.toml