NON906/HandMR

HandMRのAR機能を利用できるようにする

Opened this issue · 4 comments

NishikioriIsamu commented

HandMRのAR機能を利用できるようにしたい

やりたいこと

  • HandMRの背景をバーチャル背景からカメラ画像へ変更したい.
  • Handを黒いものが覆われているような表示の仕方ではなく, 関節に点が打たれているような表示の仕方がしたい.
  • 関節に点が打たれている表示の仕方で, ３次元オブジェクトの操作をできるようにしたい.

バージョン

PC

  • エディション：Windows 11 Home
  • バージョン：22H2

Android

  • Google Pixel 3 XL
  • Androidバージョン：12

Unity Hub

3.4.1

Unity

2021.3.2f1(LTS)

やったこと

  1. Unityプロジェクトを起動.
  2. ブラウザから, アセットサイトを開き, 「マイアセットに追加」を選択.
  3. 承認を求められたので, 「同意する」を選択.
  4. 「Unityを開く」を選択.
  5. 次に「Unity Editorで開きますか？」と指示されてので, 「Unity Editorで開く」を選択.
  6. 5の手順を実行するとUnity 側で「Package Manager」が開かれ,「Mobile XR Kit - HandMR Sample」の画面が表示された.
  7. 「Download」ボタンをクリック.
  8. 「Download」ボタンをクリックすると, 「import」ボタンが出てきたので「import」ボタンをクリック.
  9. 「Import Unity Package」が表示させたので, 「All」をクリックして「Import」ボタンをクリック. するとAssetsに「HandMR」フォルダーが追加された.
  10. ツールバーから, 「Tools >> HandMR >> Show Start Dialog Windows」をクリック.
  11. 「Step 1.Add Packages to PackageManager」の「Execute」をクリックする. 数分すると自動的にUnity が再起動された.
  12. 次に, 「Tools >>HandMR >>Show Start DialogWindows」で「HandMR」の画面まで戻り, 「Step2.Setting Project, Layers and Prefabs」の「Execute」をクリック
  13. 「Step 3.Setting XR」の設定を行った.
    1. Open Project Settings ->XR-Plugin Management.
    1. Put check(s) ARCore (for Android) and/or ARKit(for iOS)
    1. Open Project Setting ->Player.
    1. Change ’Active Input Handing’ to ’Both’.

上記の3 つは既に設定済みだったため, 4の設定のみを行った. 「Both」に変更すると再起動された.

  1. 「Step 4.Copy Settting Files for Andriod Plugins」の「Execute」をクリック.
  2. 「Step 5.Download and Install iOS Plugins」は, 今回はiOSでBuildしないため, 今回は割愛.
  3. 「Step 6.Select Languages」を, 「English」から「Japanese」に変更.
  4. 「Step 7」と「Step 8」は実行せず, 「Close」ボタンをクリック.
  5. サンプルアプリを起動させるため, Assets >> HandMR >> Sample >> Scenes >> Main.unity(シーン)を開く.
  6. File >> Build Settings >> Build And RunでBuild.

上記の手順で, HandMRの導入を行い, 動作確認は完了しています.

  1. HandMRManagerURPをScene上に配置(配置場所に指定無し)し, SettingFromPlayerPrefsをアタッチ.
  2. HandMRManager/View Modeを, MRからARへ変更.
  3. HandMRManagerURP/View Modeを, MRからARへ変更.
  4. HandMRManagerURP内のVR Sub Camera, Left Eye Frame, Right Eye Frameを3つとも設定をnoneに変更.

現状

  • errorは出力されている.
    Logcat_error.txt
  • 背景をバーチャル背景から, カメラ画像へ変更することができている.
  • 手を認識している.
screen-20230427-134219.1.mp4
NON906 commented

HandMRの背景をバーチャル背景からカメラ画像へ変更したい.

上記は機能追加に近い内容になるので、大変申し訳ございませんが、対応するのは難しいです。

NishikioriIsamu commented
  • Handを黒いものが覆われているような表示の仕方ではなく, 関節に点が打たれているような表示の仕方がしたい.
  • 関節に点が打たれている表示の仕方で, ３次元オブジェクトの操作をできるようにしたい.

この2点であれば、可能でしょうか。
もし修正可能であれば、具体的に手立てを教えていただきたいです。

NON906 commented

通常の手の表示を非表示にし、その上で手の各座標をTransformから取得して、それに合わせた表示をするのが一番楽ではないかと思います。

NishikioriIsamu commented

わかりました。
ありがとうございます。