sharedy/I_am_a_person

实时互动的GPT数字人

I_am_a_person

实时互动GPT数字人

一. 数字人形象生成与定制

1. 人体姿态估计和渲染
2. 数字人动作与换装换衣试穿.md
3. 视频生成.md
4. 换脸
5. AI换脸系列
6. https://github.com/modelscope/facechain.git
7. https://github.com/ZHKKKe/MODNet
8. AI绘图（stableDiffusion）
   • AI绘图系列
   • AI绘画的应用方向
9. 人脸人体检测分割
   • https://github.com/1adrianb/face-alignment
   • face-parsing
   • DeepLabV3
   • https://github.com/PeterL1n/RobustVideoMatting

二. 数字人输入--语音识别

1. AI语音-01-概述
2. k2语音识别.md
3. whisper
4. funasr+Paraformer:https://github.com/modelscope/FunASR
5. SenseVoice：https://github.com/FunAudioLLM/SenseVoice

三. 数字人大脑--大语言模型

1. 角色扮演模型
   • Index-1.9B-Character ：https://github.com/bilibili/Index-1.9B
   • Character-LLM：https://github.com/choosewhatulike/trainable-agents
2. 小模型
   • miniCPM
   • MiniCPM-V
   • Phi-3-v
   • gemna2b

四. 数字人讲话唱歌--语音合成

1. tts
   • vits，vits2
   • bert-vits2学习.md
   • gpt-sovits
   • fish-speech
   • CosyVoice： https://github.com/FunAudioLLM/CosyVoice
2. 唱歌tts(singing voice conversion)：
   • so-vits-svc
   • NeuCoSVC
3. 聊天tts
   • ChatTTS： https://github.com/2noise/ChatTTS
4. 其他
   • XTTS
   • openvoice与MeloTTS
   • https://github.com/PaddlePaddle/PaddleSpeech

五. 数字人驱动

1. 真人数字人项目
2. 数字人-01-方案概述
3. 虚拟数字人
   • 虚幻引擎MetaHuman数字人
   • ue和unity数字人.md
4. 三维重建数字人
   • 学习NeRF(新视角合成)
   • 3D高斯gaussian-splatting.md
   • 苹果联合德国马普所推出的，基于高斯函数的3D数字人合成工具HUGS
   • https://machinelearning.apple.com/research/hugs
5. 动捕

七. 其他

1. 参考项目