AI-YinMei【Ai吟美】

直播效果：

桌宠云：

【😄开发文档|💗视频教程|🚚1.8整合包教程|✨1.7整合包教程】

AI 虚拟主播 Vtuber 研发(N 卡版本)
AI 名称：吟美
开发者：Winlone
B站频道：程序猿的退休生活
开源代码：https://github.com/worm128/AI-YinMei
Ai吟美教程集合：https://www.bilibili.com/read/cv33640951/
Q 群：27831318
版本：1.8.1
吟美整合包下载地址：
整合包教程：https://www.bilibili.com/video/BV1zD421H76q
百度网盘群号：930109408
提示：因为百度网盘分享总是屏蔽，现在切换到百度网盘的群分享，请在“百度网盘->消息” 添加群号，加入群后可以在文件列表进行下载
功能整合包下载(4个)：人工智能 -> yinmei-all
吟美核心【版本迭代】：人工智能 -> 吟美核心
吟美开发文档：人工智能 -> 吟美开发文档
旧版吟美项目【因集成过多内置第三方项目，已废弃】：
https://github.com/worm128/AI-YinMei-backup

技术架构

支持技术

支持 fastgpt 知识库聊天对话
支持 LLM 大语言模型的一整套解决方案：[fastgpt] + [one-api] + [Xinference]
支持对接 bilibili 直播间弹幕回复和进入直播间欢迎语
支持微软 edge-tts 语音合成
支持 Bert-VITS2 语音合成
支持 GPT-SoVITS 语音合成
支持表情控制 Vtuber Studio
支持绘画 stable-diffusion-webui 输出 OBS 直播间
支持绘画图片鉴黄 public-NSFW-y-distinguish
支持搜索和搜图服务 duckduckgo（需要魔法上网）
支持搜图服务 baidu 搜图（不需要魔法上网）
支持 AI 回复聊天框【html 插件】
支持 AI 唱歌 Auto-Convert-Music
支持歌单【html 插件】
支持跳舞功能
支持表情视频播放
支持摸摸头动作
支持砸礼物动作
支持唱歌自动启动伴舞功能
聊天和唱歌自动循环摇摆动作
支持多场景切换、背景音乐切换、白天黑夜自动切换场景
支持开放性唱歌和绘画，让 AI 自动判断内容
支持流式聊天，提速 LLM 回复与语音合成
对接 bilibili 开放平台弹幕【稳定性高】
支持 funasr 阿里语音识别系统
增加点赞、送礼物、欢迎词等触发事件
Ai吟美桌宠【关注B站“程序猿的退休生活”，回复181获取下载链接】

吟美直播间功能说明

1、聊天功能：
1.1 设定了名字、性格、语气和嘲讽能力的 AI，能够与粉丝互怼，当然录入了老粉丝的信息记录，能够更好识别老粉丝的行为进行互怼。
1.2 多重性格：吟美有善解人意的女仆和凶残怼人的大小姐性格，根据不同场景自行判断切换
2、唱歌功能：
2.1 输入“唱歌+歌曲名称”，吟美会根据你输入的歌曲名称进行学习唱歌。当然，你可以输入类似“吟美给我推荐一首最好听的动漫歌曲”这些开放性的话题，让吟美给你智能选择歌曲进行演唱。
2.2 切歌请输入“切歌”指令，会跳过当前歌曲，直接唱下一首歌曲
3、绘画功能：
3.1 输入“画画+图画标题”，吟美会根据你输入的绘画提示词进行实时绘画。
3.2 当然，你可以输入类似“吟美给我画一幅最丑的小龟蛋”这些开放性的话题，让吟美给你智能输出绘画提示词进行画画。
4、跳舞功能：
4.1 输入“跳舞+舞蹈名称”，舞蹈如下：
书记舞、科目三、女团舞、社会摇
呱呱舞、马保国、二次元、涩涩
蔡徐坤、江南 style、Chipi、吟美
直接输入“跳舞”两个字是随机跳舞
4.2 停止跳舞请输入“停止跳舞”
5、表情功能：
输入“表情+名称”, “表情+随机” 是随机表情，表情自己猜，例如，“哭、笑、吐舌头”之类
6、场景切换功能：
6.1 输入“切换+场景名称”：粉色房间、神社、海岸花坊、花房、清晨房间
6.2 系统智能判定时间进行早晚场景切换
7、换装功能：
输入“换装+衣服名称”：便衣、爱的翅膀、青春猫娘、眼镜猫娘
8、搜图功能：
输入“搜图+关键字”
9、搜索资讯功能：
输入“搜索+关键字”
智能辅助：
1、歌单列表显示
2、Ai 回复文字框显示
3、Ai 动作状态提示
4、智能识别唱歌和绘画
5、说话、唱歌循环随机摇摆动作
6、随着心情值增加或者当前的聊天关键字，智能判断输出日语
7、绘画提示词对接 C 站，丰富绘画内容
8、智能判断是否需要唱歌、画画
9、根据关键字进行场景切换
10、funasr 语音识别客户端

应用模块

Ai-YinMei：Ai 吟美核心
stable-diffusion-webui：绘画模块
public-NSFW-y-distinguish：鉴黄模块
gpt-SoVITS：语音合成模块
Auto-Convert-Music：唱歌模块
fastgpt + one-api + Xinference：聊天模块
funasr-html-client：语音识别客户端

软件下载

整合包教程：https://www.bilibili.com/video/BV1zD421H76q
百度网盘群号：930109408
功能整合包下载(4个)：人工智能 -> yinmei-all
吟美核心【版本迭代】：人工智能 -> 吟美核心
吟美开发文档：人工智能 -> 吟美开发文档

语音播放器 mpv：语音播放、音乐播放使用
在百度网盘->人工智能->软件->mpv.exe
注意：项目需要在根目录放两个播放器，分别是：mpv.exe【播放语音】、song.exe【播放音乐】
虚拟声卡：虚拟人物口型输出音频
在百度网盘->人工智能->软件->虚拟声卡 Virtual Audio Cable v4.10 破解版
ffmpeg：音频解码器，用于语音合成
在百度网盘->人工智能->软件->ffmpeg
mongodb 连接工具-NoSQLBooster for MongoDB
人工智能->软件->nosqlbooster4mongo-8.1.7.exe
fastgpt 的 docker-compose 配置
人工智能->软件->docker 知识库

运行环境

Python 3.11.6

启动方式

注意：更详细的启动方法，请参考 🔥整合包说明文档 🚚1.8整合包教程

1、吟美核心(必选)

下载整合包双击执行 start.bat
整合包说明文档

2、聊天服务(可选)

2-1、【fastgpt】+【one-api】+【Xinference】(推荐)

fastgpt：https://github.com/labring/FastGPT
one-api：https://github.com/songquanpeng/one-api
Xinference：https://github.com/xorbitsai/inference
启动：使用 window WSL 的 docker 启动，启动流程看教程文档第 23 点
教程视频：https://www.bilibili.com/video/BV1SH4y1J7Wy/

2-2、text-generation-webui

项目 github：https://github.com/oobabooga/text-generation-webui

#进入虚拟环境
& 盘符:py虚拟空间路径/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动text-generation-webui程序，start.bat是我自定义的window启动脚本
./start.bat

window 的 bat 启动命令：

python server.py --trust-remote-code --listen-host 0.0.0.0 --listen-port 7866 --listen --api --api-port 5000 --model chatglm2-6b --load-in-8bit --bf16

API 访问：http://127.0.0.1:5000/

3、语音合成(必选)

3-1、Bert-VITS2

项目地址：https://github.com/fishaudio/Bert-VITS2
启动：使用 Bert-VITS2-clap-novq-ui 里面的 start.bat 启动
定制页面：hiyoriUI.py 包含中英日混合语音合成方法，需要放到对应项目，不一定兼容
效果：Ai 与用户的语音互动，包括：聊天、绘画提示、唱歌提示、跳舞提示等

3-2、gtp-sovits(推荐)

项目地址：https://github.com/fishaudio/Bert-VITS2
效果：Ai 与用户的语音互动，包括：聊天、绘画提示、唱歌提示、跳舞提示等

百度网盘群号：930109408
提示：因为百度网盘分享总是屏蔽，现在切换到百度网盘的群分享，请在“百度网盘->消息” 添加群号，加入群后可以在文件列表进行下载
双击执行 start.bat

整合包说明文档

3-3、edge-tts(吟美自带)

edge不需要另外安装语音合成服务

4、绘画服务(可选)

stable-diffusion-webui项目
项目地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui
效果：输入“画画 xxx”，触发 Ai 使用 stable-diffusion 进行绘图

百度网盘群号：930109408
提示：因为百度网盘分享总是屏蔽，现在切换到百度网盘的群分享，请在“百度网盘->消息” 添加群号，加入群后可以在文件列表进行下载
双击执行 start.bat

整合包说明文档

5、鉴黄服务 (可选)

public-NSFW-y-distinguish项目
项目地址：https://github.com/fd-freedom/public-NSFW-y-distinguish

百度网盘群号：930109408<br>
提示：因为百度网盘分享总是屏蔽，现在切换到百度网盘的群分享，请在“百度网盘->消息” 添加群号，加入群后可以在文件列表进行下载<br>
双击执行 start.bat <br>

整合包说明文档

6、唱歌服务 (可选)

Auto-Convert-Music项目
原创开发者：木白 Mu_Bai、宫园薰ヾ(≧∪≦*)ノ〃
项目地址：https://github.com/MuBai-He/Auto-Convert-Music
启动：使用 Auto-Convert-Music 里面的 start.bat 启动
效果：输入“唱歌歌曲名称”，触发 Ai 从歌库学习唱歌

7、皮肤(必选)

皮肤启动，安装 steam，安装 VTube Studio
这个自行下载 steam 平台，在平台里面有一个 VTube Studio 软件，它就是启动 live2D 的虚拟主播皮肤

8、虚拟声卡驱动(必选)

8-1、安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66 官方版

效果：Ai 主播的发声来源

百度网盘群号：930109408
加群下载软件

8-2、Voicemeeter虚拟声卡：

下载banana版本即可【注意你主板要安装声卡驱动，不然虚拟声卡通道可能失效】：

百度网盘群号：930109408
加群下载软件

9、AI 回复框【HTML 插件】(可选)

把项目文件：ai-yinmei\html\chatui.html 放入 OBS 浏览器插件展示
效果：Ai 的回复内容会在回复插件显示

10、歌单显示【HTML 插件】(可选)

把项目文件：ai-yinmei\html\songlist.html 放入 OBS 浏览器插件展示
效果：用户点歌的歌单会在上面以列表形式显示：
'xxx 用户'点播《歌曲名称》[正在播放]
'xxx 用户 2'点播《歌曲名称》

11、时间显示【HTML 插件】(可选)

把项目文件：ai-yinmei\html\time.html 放入 OBS 浏览器插件展示
整合包说明文档

12、跳舞能力(可选)

跳舞视频的存放地址【支持子文件夹存放】： dance_path = 'J:\ai\跳舞视频\横屏'
效果：输入跳舞，立即进行跳舞视频随机抽取播放；输入\停止跳舞，可以立即停止跳舞

13、弹出视频表情(可选)

表情视频的存放地址【支持子文件夹存放】： emote_path = 'H:\人工智能\ai\跳舞视频\表情'
效果：输入表情随机或者表情名称，立即进行表情视频播放，表情随机为随机播放表情视频
表情视频的名称展示【支持子文件夹存放】： emote_font = 'H:\人工智能\ai\跳舞视频\表情\表情符号'
效果：表情名称会显示在 obs 的字体控件，提示用户可以输入这些表情名称

14、funasr语音识别客户端(可选)

吟美目定制funasr插件：./funasr/index.html
服务端：需要根据阿里 funasr进行配置, 建议安装容器，参考服务器部署文档：

服务端启动：

docker run -p 10095:10095 --name funasr -it --privileged=true -v /j/ai/ai-code/funasr/models:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.9

目录说明

func：
吟美功能类库，全部功能源代码在这里
runtime：
整合包才有的python运行类库
html：
html插件，包含歌单列表、流式回复框、彩色回复框、功能说明框等
background：
背景图，可以在OBS软件自行添加背景图
porn：
存放鉴黄图片、绘画图片、搜图
output：
语音合成中转目录，还有歌曲、伴奏保存目录
logs：
日志输出目录
config：
OBS配置、fastgpt配置，可以参考
api.py：
接口启动主要文件
config.yml：
所有配置的文件
mpv.exe：
语音聊天播放器，输出设备设置：设置Voicemeeter第二个虚拟通道
song.exe：
人声唱歌播放器，输出设备设置：设置Voicemeeter第二个虚拟通道
accompany.exe：
伴奏唱歌播放器，输出设备设置：设置Voicemeeter第一个虚拟通道
Voicemeeter虚拟声卡官网：
下载banana版本即可【注意你主板要安装声卡驱动，不然虚拟声卡通道可能失效】：

特别鸣谢

唱歌变声：Auto-Convert-Music 开发者：木白 Mu_Bai、宫园薰ヾ(≧∪≦*)ノ〃
项目地址：https://github.com/MuBai-He/Auto-Convert-Music
GPT-SoVITS：花儿不哭大佬开发的 TTS 语音合成
https://github.com/RVC-Boss/GPT-SoVITS
Bert-VITS2：TTS 语音合成，合成速度超快
https://github.com/fishaudio/Bert-VITS2
知识库：fastgpt
项目地址：https://github.com/labring/FastGPT
大语言模型框架：one-api + Xinference
项目地址：https://github.com/songquanpeng/one-api
项目地址：https://github.com/xorbitsai/inference
LLM 模型：ChatGLM
https://github.com/THUDM/ChatGLM2-6B
聚合 LLM 调用模型：text-generation-webui
https://github.com/oobabooga/text-generation-webui
AI 虚拟主播模型：B 站的·领航员未鸟·
https://github.com/AliceNavigator/AI-Vtuber-chatglm
AI 训练模型：LLaMA-Factory
https://github.com/hiyouga/LLaMA-Factory
MPV 播放器：MPV
https://github.com/mpv-player/mpv
语音识别系统：FunASR
https://github.com/alibaba-damo-academy/FunASR/
其他：
Lora 训练：https://github.com/yuanzhoulvpi2017/zero_nlp
ChatGLM 训练：https://github.com/hiyouga/ChatGLM-Efficient-Tuning
SillyTavern 酒馆：https://github.com/SillyTavern/SillyTavern
LoRA 中文训练：https://github.com/super-wuliao/LoRA-ChatGLM-Chinese-Alpaca
数据集-训练语料：https://github.com/codemayq/chinese-chatbot-corpus

捐献基金

捐助列表：https://docs.qq.com/sheet/DWUZPUlRrT1BXTXBk
扫码赞助

worm128/AI-YinMei

AI-YinMei【Ai吟美】

技术架构

支持技术

吟美直播间功能说明

应用模块

软件下载

运行环境

启动方式

1、吟美核心(必选)

2、聊天服务(可选)

2-1、【fastgpt】+【one-api】+【Xinference】(推荐)

2-2、text-generation-webui

3、语音合成(必选)

3-1、Bert-VITS2

3-2、gtp-sovits(推荐)

3-3、edge-tts(吟美自带)

4、绘画服务(可选)

5、鉴黄服务 (可选)

6、唱歌服务 (可选)

7、皮肤(必选)

8、虚拟声卡驱动(必选)

8-1、 安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66 官方版

8-2、Voicemeeter虚拟声卡：

9、AI 回复框【HTML 插件】(可选)

10、歌单显示【HTML 插件】(可选)

11、时间显示【HTML 插件】(可选)

12、跳舞能力(可选)

13、弹出视频表情(可选)

14、funasr语音识别客户端(可选)

目录说明

特别鸣谢

更多关注

捐献基金

8-1、安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66 官方版