krgpi/facecast_webView

iOSアプリからソケット通信でblendshapes等の値を受け取り、threejsでVRMのパーツを動かす

HTML

facecast_webView

iPhoneからVtube配信を行うことを目標としたアプリ、facecast(仮) をiOS配信アプリ, Webビューワーアプリの両方で一体開発しています。

システム概要

iOSのARkit(FaceTracking)で、顔のblendshapesを取得

↓

AWS サーバーに送信(SocketIO)

↓

クライアントWebアプリでVRMキャラクターの表情を動かす

(threejs, VRMloader)

このレポジトリは、iOSアプリ(repo:facecast_ios)とセットで使います。

This web App works with iOS App(repo:facecast_ios).

実行方法

任意のサーバ上にgit cloneする
npm iしてpackage.jsonに記載されてる依存関係を一括インストール
../src/ にVRMモデルをunzipして配置
./app.js をnode, nodemon, forever等で実行
http://[your server address]:3001 を開く
iOSアプリを起動して目を動かす
あなたの目の動きが、VRMキャラクターと同期されます！

Future Works

目に加え他(口、あご、その他blendshapes)の動きに対応

how to excecute

git clone this repository on your server.
execute npm i
execute ./app.js by node, nodemon, forever...etc
open http://[your server address]:3001
open iOS App, then move your eyes
VRM character's eye movement will be syncronized with your's!