/AI-YinMei

AI吟美-人工智能主播-Vtuber

Primary LanguagePythonMIT LicenseMIT

AI-YinMei

支持技术

  • 支持 fastgpt 知识库聊天对话
  • 支持 LLM 大语言模型的一整套解决方案：[fastgpt] + [one-api] + [Xinference]
  • 支持对接 bilibili 直播间弹幕回复和进入直播间欢迎语
  • 支持微软 edge-tts 语音合成
  • 支持 Bert-VITS2 语音合成
  • 支持表情控制 Vtuber Studio
  • 支持绘画 stable-diffusion-webui 输出 OBS 直播间
  • 支持绘画图片鉴黄 public-NSFW-y-distinguish
  • 支持搜索和搜图服务 duckduckgo（需要魔法上网）
  • 支持搜图服务 baidu 搜图（不需要魔法上网）
  • 支持 AI 回复聊天框【html 插件】
  • 支持 AI 唱歌 Auto-Convert-Music
  • 支持歌单【html 插件】
  • 支持跳舞功能
  • 支持表情视频播放
  • 支持摸摸头动作
  • 支持砸礼物动作
  • 支持唱歌自动启动伴舞功能
  • 聊天和唱歌自动循环摇摆动作
  • 支持多场景切换、背景音乐切换、白天黑夜自动切换场景
  • 支持开放性唱歌和绘画，让 AI 自动判断内容

吟美直播间功能说明

  • 1、唱歌功能：
    输入唱歌+歌曲名称，吟美会根据你输入的歌曲名称进行学习唱歌。当然，你可以输入类似“吟美给我推荐一首最好听的动漫歌曲”这些开放性的话题，让吟美给你智能选择歌曲进行演唱。

  • 2、绘画功能：
    输入画画+图画标题，吟美会根据你输入的绘画提示词进行实时绘画。当然，你可以输入类似“吟美给我画一幅最丑的小龟蛋”这些开放性的话题，让吟美给你智能输出绘画提示词进行画画。

  • 3、跳舞功能：
    输入跳舞+舞蹈名称，舞蹈如下：
    书记舞、科目三、女团舞、社会摇
    呱呱舞、马保国、二次元、涩涩
    蔡徐坤、江南 style、Chipi、吟美
    直接输入“跳舞”两个字是随机跳舞

  • 4、表情功能：
    输入#号+表情名称, #rnd 是随机表情，表情自己猜，例如，“哭、笑、吐舌头”之类

  • 5、场景切换功能：
    输入切换+场景名称： 粉色房间、神社、海岸花坊、花房、清晨房间，系统智能判定时间进行早晚场景切换

  • 6、换装功能：
    输入换装+衣服名称：便衣、爱的翅膀、青春猫娘、眼镜猫娘

  • 智能辅助：
    1、歌单列表显示
    2、Ai 回复文字框显示
    3、Ai 动作状态提示
    4、智能识别唱歌和绘画
    5、说话、唱歌循环随机摇摆动作
    6、随着心情值增加或者当前的聊天关键字，智能判断输出日语
    7、绘画提示词对接 C 站，丰富绘画内容
    8、智能判断是否需要唱歌、画画
    9、根据关键字进行场景切换

软件下载

  • 在百度网盘：https://pan.baidu.com/s/1wB1aNTpN5X2WSPCq3GADJw?pwd=1kz2
  • 语音播放器 mpv：语音播放、音乐播放使用
    在百度网盘->人工智能->软件->mpv.exe
    注意：项目需要在根目录放两个播放器，分别是：mpv.exe【播放语音】、song.exe【播放音乐】
  • 虚拟声卡：虚拟人物口型输出音频
    在百度网盘->人工智能->软件->虚拟声卡 Virtual Audio Cable v4.10 破解版
  • ffmpeg：音频解码器，用于语音合成
    在百度网盘->人工智能->软件->ffmpeg
  • mongodb 连接工具-NoSQLBooster for MongoDB 人工智能>软件>nosqlbooster4mongo-8.1.7.exe
  • fastgpt 的 docker-compose 配置 人工智能>软件>docker 知识库

运行环境

  • Python 3.11.6

调用类库

  • 轻量安装（推荐-不包含 LLM 语言模型）：requirements.txt
  • 全量安装（包含 LLM 语言模型、LLM 训练模型等）：requirements-all.txt
  • 对应重要的 py 包
    torch：2.1.0+cu121
    peft：0.6.2
    bilibili-api-python：16.1.1
    edge-tts：6.1.9
    pynput：1.7.6
    APScheduler：3.10.4
    transformers：4.35.2
    websocket-client：1.6.4v
    duckduckgo_search：4.1.1
    pyvirtualcam：0.11.0
    opencv-python：4.8.1.78
    Flask：3.0.0
    Flask-APScheduler：1.13.1
    duckduckgo_search：4.1.1
    obs-websocket-py：1.0

启动方式

1、(必选)启动应用层，在根目录

#进入虚拟环境
& 盘符:路径/pylib/aivenv/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动对接b站直播程序
#一：1.b站直播间 2.api web
#二：1.fastgpt   1.text-generation-webui
#三：输入你的B站直播间编号
python bilibili-live-api.py

修改内容须知：

B 站直播间鉴权（B 站浏览器获取 cookie）：sessdata、buvid3
Vtuber Studio 表情 websocket 服务：
ws = websocket.WebSocketApp("ws://127.0.0.1:8001",on_open = on_open)
以下是表情鉴权，详细看文档【十三、Vtuber 表情控制-获取令牌和授权】：
vtuber_pluginName="自定义插件名称"
vtuber_pluginDeveloper="winlone"
vtuber_authenticationToken="这个令牌从获取令牌接口获取"
唱歌服务 Auto-Convert-Music 地址：singUrl = "192.168.2.58:1717"
绘画服务 stable-diffusion-webui 地址：drawUrl = "192.168.2.58:7860"
聊天服务 text-generation-webui 地址：tgwUrl = "192.168.2.58:5000"
聊天服务 fastgpt 知识库地址：fastgpt_url = "192.168.2.198:3000"
fastgpt 令牌：fastgpt_authorization="Bearer fastgpt-GNtIO9ApmbiFdC0R5IVkoXN5TGdGyiURh7bJ8i8CTyVINpU3GjN4Wr"
搜索服务代理：duckduckgo_proxies="socks5://127.0.0.1:10806"
搜图服务代理：proxies = {"http": "socks5://127.0.0.1:10806", "https": "socks5://127.0.0.1:10806"}

2-1、(可选)启动 LLM 聊天服务 【fastgpt】+【one-api】+【Xinference】

fastgpt：https://github.com/labring/FastGPT
one-api：https://github.com/songquanpeng/one-api
Xinference：https://github.com/xorbitsai/inference
启动：使用 window WSL 的 docker 启动，启动流程看教程文档第 23 点

2-2、(可选)启动 LLM 聊天服务 text-generation-webui

项目 github：https://github.com/oobabooga/text-generation-webui

#进入虚拟环境
& 盘符:py虚拟空间路径/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动text-generation-webui程序，start.bat是我自定义的window启动脚本
./start.bat

window 的 bat 启动命令：

python server.py --trust-remote-code --listen-host 0.0.0.0 --listen-port 7866 --listen --api --api-port 5000 --model chatglm2-6b --load-in-8bit --bf16

API 访问：http://127.0.0.1:5000/

3、(必选)语音合成-Ai 发声

项目地址：https://github.com/fishaudio/Bert-VITS2
启动：使用 Bert-VITS2-clap-novq-ui 里面的 start.bat 启动
定制页面：hiyoriUI.py 包含中英日混合语音合成方法，需要放到对应项目，不一定兼容
效果：Ai 与用户的语音互动，包括：聊天、绘画提示、唱歌提示、跳舞提示等

4、(可选)启动绘画服务 stable-diffusion-webui

项目地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui

#进入虚拟环境
& 盘符:py虚拟空间路径/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#配置api服务webui-user.bat
@echo off
set PYTHON=.\pydraw\Scripts\python.exe
set GIT=
set VENV_DIR=.\pydraw\
set COMMANDLINE_ARGS=--api
call webui.bat
#启动text-generation-webui程序，start.bat是我自定义的window启动脚本
./webui-user.bat

效果：输入“画画 xxx”，触发 Ai 使用 stable-diffusion 进行绘图

5、(可选)启动绘画鉴黄服务 public-NSFW-y-distinguish

项目地址：https://github.com/fd-freedom/public-NSFW-y-distinguish

运行环境（必要）：Python 3.6.13
pip install -r requirements.txt
# 此文件为本人特制
py nsfw_web.py

6、(可选)启动唱歌服务 Auto-Convert-Music

原创开发者：木白 Mu_Bai、宫园薰ヾ(≧∪≦*)ノ〃
项目地址：https://github.com/MuBai-He/Auto-Convert-Music
启动：使用 Auto-Convert-Music 里面的 start.bat 启动
效果：输入“唱歌 歌曲名称”，触发 Ai 从歌库学习唱歌

7、(必选)皮肤启动，安装 steam，安装 VTube Studio

这个自行下载 steam 平台，在平台里面有一个 VTube Studio 软件，它就是启动 live2D 的虚拟主播皮肤

8、(必选)虚拟声卡驱动

安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66 官方版
效果：Ai 主播的发声来源

9、(可选)AI 回复框【HTML 插件】

把项目文件：ai-yinmei\html\chatui.html 放入 OBS 浏览器插件展示
效果：Ai 的回复内容会在回复插件显示

10、(可选)歌单显示【HTML 插件】

把项目文件：ai-yinmei\html\songlist.html 放入 OBS 浏览器插件展示
效果：用户点歌的歌单会在上面以列表形式显示：
'xxx 用户'点播《歌曲名称》[正在播放]
'xxx 用户 2'点播《歌曲名称》

11、(可选)时间显示【HTML 插件】

把项目文件：ai-yinmei\html\time.html 放入 OBS 浏览器插件展示

此外，需要在 text-generation-webui/models 路径放入 LLM 模型，我这里放的是 chatgml2 的模型，大家可以任意选择底层 LLM 模型，例如，千问、百川、chatglm、llama 等
更多详细技术细节，请看技术文档：https://note.youdao.com/s/1k0x7BLt

12、(可选)跳舞能力

跳舞视频的存放地址【支持子文件夹存放】： dance_path = 'J:\ai\跳舞视频\横屏'
效果：输入跳舞，立即进行跳舞视频随机抽取播放；输入\停止跳舞，可以立即停止跳舞

13、(可选)弹出视频表情

表情视频的存放地址【支持子文件夹存放】： emote_path = 'H:\人工智能\ai\跳舞视频\表情'
效果：输入#rnd 或者 #表情视频文件名，立即进行表情视频播放，#rnd 为随机播放表情视频
表情视频的名称展示【支持子文件夹存放】： emote_font = 'H:\人工智能\ai\跳舞视频\表情\表情符号'
效果：表情名称会显示在 obs 的字体控件，提示用户可以输入这些表情名称

目录说明

  • text-generation-webui【第三方工具】：
    LLM 聚合接口，可以放置 chatglm 等大语言模型，然后进行参数配置后，再输入角色卡进行角色扮演聊天
    https://github.com/oobabooga/text-generation-webui
  • LLaMA-Factory【AI 训练】：
    AI 聚合训练工具，可以界面化配置训练参数，可视化 ai 训练，相当强大
    https://github.com/hiyouga/LLaMA-Factory
  • ChatGLM、ChatGLM2、ChatGLM3【语言模型】：
    放置的是清华大学研发的自然语言模型，可以自行添加如：百川、千问、LLAMA 等其他大语言模型
  • SillyTavern【第三方工具】：
    酒馆，强大的 AI 角色扮演，但是该项目没有公开接口调用，而且 TTS 语言合成很缓慢，暂未集成使用
    https://github.com/SillyTavern/SillyTavern
  • output【输出路径】：
    输出的文本 txt、语音 mp3 文件都在这里
  • ChatGLM2\ptuning【AI 训练】：
    ChatGLM 官方训练例子
  • ChatGLM2\ptuning\zero_nlp【AI 训练】：
    ai 的 lora 训练模式

特别鸣谢

更多关注

  • 讨论 Q 群：27831318