/VideoChat

基于开源项目的数字人,可自定义形象与音色,支持语音克隆,对话首包延迟3-5s。A digital human dialogue demo based on open-source projects with an first package latency of 3-5 seconds.

Primary LanguagePythonMIT LicenseMIT

数字人对话demo

基于开源ASR、LLM、TTS、THG的数字人对话demo,首包延迟3-5s。

在线demo:https://www.modelscope.cn/studios/AI-ModelScope/video_chat

详细的技术介绍请看这篇文章

中文简体 | English

TODO

  • TTS模块添加音色克隆功能
  • TTS模块添加edge-tts
  • LLM模块添加qwen本地推理
  • 链路优化:端到端语音

技术选型

本地部署

1. 环境配置

  • ubuntu 22.04
  • python 3.10
  • torch 2.1.2
$ git lfs install
$ git clone https://www.modelscope.cn/studios/AI-ModelScope/video_chat.git
$ conda create -n metahuman python=3.10
$ conda activate metahuman
$ cd video_chat
$ pip install -r requirement.txt
$ pip install --upgrade gradio # 安装Gradio 5

2. 权重下载

2.1 创空间下载(推荐)

创空间仓库已设置git lfs追踪权重文件,如果是通过git clone https://www.modelscope.cn/studios/AI-ModelScope/video_chat.git克隆,则无需额外配置

2.2 手动下载

2.2.1 MuseTalk

参考这个链接

目录如下:

./weights/
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── musetalk
│   ├── musetalk.json
│   └── pytorch_model.bin
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt
2.2.2 GPT-SoVITS

参考这个链接

3. 其他配置

LLM模块和TTS模块提供了多种方式,可自行选择推理方式

3.1 使用API-KEY(默认)

对于LLM模块和TTS模块,如果本地机器性能有限,可使用阿里云大模型服务平台百炼提供的Qwen APICosyVoice API,请在app.py(line 14)中配置API-KEY。

参考这个链接完成API-KEY的获取与配置。

os.environ["DASHSCOPE_API_KEY"] = "INPUT YOUR API-KEY HERE"

3.2 不使用API-KEY

如果不使用API-KEY,请参考以下说明修改相关代码。

3.2.1 LLM模块

src/llm.py中提供了QwenQwen_API两个类分别处理本地推理和调用API。若不使用API-KEY,有以下两种方式进行本地推理:

  1. 使用Qwen完成本地推理。
  2. Qwen_API默认调用API完成推理,若不使用API-KEY,还可以使用vLLM在本地部署模型推理服务,参考这个链接完成部署后,使用Qwen_API(api_key="EMPTY",base_url="http://localhost:8000/v1")初始化实例调用本地推理服务。
3.2.2 TTS模块

src/tts.py中提供了GPT_SoVits_TTSCosyVoice_API分别处理本地推理和调用API。若不使用API-KEY,可直接删除CosyVoice_API相关的内容,使用Edge_TTS调用Edge浏览器的免费TTS服务进行推理。

4. 启动服务

$ python app.py

5. 使用自定义的数字人形象(可选)

  1. /data/video/中添加录制好的数字人形象视频
  2. 修改/src/thg.pyMuse_Talk类的avatar_list,加入(形象名, bbox_shfit),关于bbox_shift的说明参考这个链接
  3. /app.py中Gradio的avatar_name中加入数字人形象名后重新启动服务,等待完成初始化即可。