/AI-YinMei

AI吟美零式

Primary LanguagePythonMIT LicenseMIT

AI-YinMei

  • AI 虚拟主播 Vtuber 研发(N 卡版本)
  • AI 名称：吟美
  • 开发者：Winlone
  • B 站频道：程序猿的退休生活
  • Q 群：27831318
  • 版本：1.0
  • 详细笔记：https://note.youdao.com/s/1k0x7BLt

介绍

  • 支持本地 LLM 模型 chatglm-6b 的 1 代~3 代的 AI 自然语言回复

  • 支持对接 bilibili 直播间弹幕回复和进入直播间欢迎语

  • 支持微软 edge-tts 语音合成

  • 支持聊天记忆模式和扮演卡,可以多角色切换

  • 支持 AI 训练

  • 支持 Vtuber 表情控制

  • 支持 stable-diffusion-webui 绘画输出 OBS 直播间

运行环境

  • Python 3.11

调用类库

  • 对应重要的 py 包
    torch：2.1.0+cu121
    peft：0.6.2
    bilibili-api-python：16.1.1
    edge-tts：6.1.9
    pynput：1.7.6
    APScheduler：3.10.4
    transformers：4.35.2

启动方式

1、(必选)启动应用层，在根目录

#进入虚拟环境
& 盘符:路径/pylib/aivenv/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#选择一、启动对接b站直播程序(选0.此程序会对接后端text-generation-webui接口，选1.当前加载LLM本地模型)
python bilibili-live-api.py
#选择二、启动对接b站直播程序(此程序直接在当前代码加载chatglm大语言模型+训练checkpoint)
(已废弃，已经集成到bilibili-live-api.py)
python bilibili-live-local.py

2、(可选)启动 LLM 模型，进入 text-generation-webui

#进入虚拟环境
& 盘符:路径/pylib/aivenv/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动text-generation-webui程序，start.bat是我自定义的window启动脚本
./start.bat

3、(必选)皮肤启动，安装 steam，安装 VTube Studio
这个自行下载 steam 平台，在平台里面有一个 VTube Studio 软件，它就是启动 live2D 的虚拟主播皮肤

4、(必选)其他
安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66 官方版

此外，需要在 text-generation-webui/models 路径放入 LLM 模型，我这里放的是 chatgml2 的模型，大家可以任意选择底层 LLM 模型，例如，千问、百川、chatglm、llama 等
更多详细技术细节，请看技术文档：https://note.youdao.com/s/1k0x7BLt

目录说明

  • text-generation-webui【第三方工具】：
    LLM 聚合接口，可以放置 chatglm 等大语言模型，然后进行参数配置后，再输入角色卡进行角色扮演聊天
    https://github.com/oobabooga/text-generation-webui
  • LLaMA-Factory【AI 训练】：
    AI 聚合训练工具，可以界面化配置训练参数，可视化 ai 训练，相当强大
    https://github.com/hiyouga/LLaMA-Factory
  • ChatGLM、ChatGLM2、ChatGLM3【语言模型】：
    放置的是清华大学研发的自然语言模型，可以自行添加如：百川、千问、LLAMA 等其他大语言模型
  • SillyTavern【第三方工具】：
    酒馆，强大的 AI 角色扮演，但是该项目没有公开接口调用，而且 TTS 语言合成很缓慢，暂未集成使用
    https://github.com/SillyTavern/SillyTavern
  • output【输出路径】：
    输出的文本 txt、语音 mp3 文件都在这里
  • ChatGLM2\ptuning【AI 训练】：
    ChatGLM 官方训练例子
  • ChatGLM2\ptuning\zero_nlp【AI 训练】：
    ai 的 lora 训练模式

特别鸣谢

更多关注

  • 讨论 Q 群：27831318