/VirtualCharacterOneCamera

카메라 하나로 캐릭터를 움직여보자

Primary LanguagePython

VirtualCharacterOneCamera

카메라 하나로 캐릭터를 움직여보자

ToDo

Python, Face Landmark

  • OpenCV, dlib, dlib-model로 얼굴 따오기
  • 좌우반전
  • 입력 소스를 조금 더 크게
  • WebCam image 투사 지우기
  • 끊어진 프레임 사이에서 Interpolation
  • Debug Parameter 출력하기
  • config 만들기
  • 2D 입력값을 3D 공간으로 변환
    • Position
    • Rotation (solvePnP 등이 필요, 아니면 CLM-Framework 사용할 것)
  • OpenFace로 dlib, Face Landmark를 대체하기
  • 모니터 위를 볼 때 와 아래를 볼 때 구분하기

featurePoint

Python OpenVR

  • OpenVR로 HMD 빼고 컨트롤러 위치만 가져오기

Python ~ Unity Socket

  • Untiy로 Python에서 값을 전달한다.

Unity Character Setup

  • 캐릭터 Scene 구현
  • 기본 어플리케이션 구현
  • Face Landmark와 캐릭터 표정 맞추기
  • OpenVR Controller와 손 위치 맞추기

Spec

Face Landmark > VRoid Character

Example (WIP)

How To Use It (WIP)

install (WIP)

Setup (WIP)

reference