/AI-YinMei

AI吟美-人工智能主播-Vtuber

Primary LanguagePythonBSD 2-Clause "Simplified" LicenseBSD-2-Clause

AI-YinMei

支持技术

  • 支持 fastgpt 知识库聊天对话
  • 支持 LLM 大语言模型的一整套解决方案：[fastgpt] + [one-api] + [Xinference]
  • 支持对接 bilibili 直播间弹幕回复和进入直播间欢迎语
  • 支持微软 edge-tts 语音合成
  • 支持 Bert-VITS2 语音合成
  • 支持 GPT-SoVITS 语音合成
  • 支持表情控制 Vtuber Studio
  • 支持绘画 stable-diffusion-webui 输出 OBS 直播间
  • 支持绘画图片鉴黄 public-NSFW-y-distinguish
  • 支持搜索和搜图服务 duckduckgo（需要魔法上网）
  • 支持搜图服务 baidu 搜图（不需要魔法上网）
  • 支持 AI 回复聊天框【html 插件】
  • 支持 AI 唱歌 Auto-Convert-Music
  • 支持歌单【html 插件】
  • 支持跳舞功能
  • 支持表情视频播放
  • 支持摸摸头动作
  • 支持砸礼物动作
  • 支持唱歌自动启动伴舞功能
  • 聊天和唱歌自动循环摇摆动作
  • 支持多场景切换、背景音乐切换、白天黑夜自动切换场景
  • 支持开放性唱歌和绘画，让 AI 自动判断内容
  • 支持流式聊天，提速 LLM 回复与语音合成
  • 对接 bilibili 开放平台弹幕【稳定性高】
  • 支持 funasr 阿里语音识别系统

吟美直播间功能说明

  • 1、聊天功能：
    1.1 设定了名字、性格、语气和嘲讽能力的 AI，能够与粉丝互怼，当然录入了老粉丝的信息记录，能够更好识别老粉丝的行为进行互怼。
    1.2 多重性格：吟美有善解人意的女仆和凶残怼人的大小姐性格，根据不同场景自行判断切换

  • 2、唱歌功能：
    2.1 输入“唱歌+歌曲名称”，吟美会根据你输入的歌曲名称进行学习唱歌。当然，你可以输入类似“吟美给我推荐一首最好听的动漫歌曲”这些开放性的话题，让吟美给你智能选择歌曲进行演唱。
    2.2 切歌请输入“切歌”指令，会跳过当前歌曲，直接唱下一首歌曲

  • 3、绘画功能：
    3.1 输入“画画+图画标题”，吟美会根据你输入的绘画提示词进行实时绘画。
    3.2 当然，你可以输入类似“吟美给我画一幅最丑的小龟蛋”这些开放性的话题，让吟美给你智能输出绘画提示词进行画画。

  • 4、跳舞功能：
    4.1 输入“跳舞+舞蹈名称”，舞蹈如下：
    书记舞、科目三、女团舞、社会摇
    呱呱舞、马保国、二次元、涩涩
    蔡徐坤、江南 style、Chipi、吟美
    直接输入“跳舞”两个字是随机跳舞
    4.2 停止跳舞请输入“停止跳舞”

  • 5、表情功能：
    输入“#号+表情名称”, “#rnd” 是随机表情，表情自己猜，例如，“哭、笑、吐舌头”之类

  • 6、场景切换功能：
    6.1 输入“切换+场景名称”： 粉色房间、神社、海岸花坊、花房、清晨房间
    6.2 系统智能判定时间进行早晚场景切换

  • 7、换装功能：
    输入“换装+衣服名称”：便衣、爱的翅膀、青春猫娘、眼镜猫娘

  • 8、搜图功能：
    输入“搜图+关键字”

  • 9、搜索资讯功能：
    输入“搜索+关键字”

  • 智能辅助：
    1、歌单列表显示
    2、Ai 回复文字框显示
    3、Ai 动作状态提示
    4、智能识别唱歌和绘画
    5、说话、唱歌循环随机摇摆动作
    6、随着心情值增加或者当前的聊天关键字，智能判断输出日语
    7、绘画提示词对接 C 站，丰富绘画内容
    8、智能判断是否需要唱歌、画画
    9、根据关键字进行场景切换
    10、funasr 语音识别客户端

应用模块

  • Ai-YinMei：Ai 吟美核心
  • stable-diffusion-webui：绘画模块
  • public-NSFW-y-distinguish：鉴黄模块
  • gpt-SoVITS：语音合成模块
  • Auto-Convert-Music：唱歌模块
  • fastgpt + one-api + Xinference：聊天模块
  • funasr-html-client：语音识别客户端

软件下载

百度网盘：https://pan.baidu.com/s/1YHh-39BCpDnhp-mwf9IfDg
提取码：tm59
夸克：https://pan.quark.cn/s/ade5c2d30ae7
提取码：ci9B

  • 语音播放器 mpv：语音播放、音乐播放使用
    在百度网盘->人工智能->软件->mpv.exe
    注意：项目需要在根目录放两个播放器，分别是：mpv.exe【播放语音】、song.exe【播放音乐】
  • 虚拟声卡：虚拟人物口型输出音频
    在百度网盘->人工智能->软件->虚拟声卡 Virtual Audio Cable v4.10 破解版
  • ffmpeg：音频解码器，用于语音合成
    在百度网盘->人工智能->软件->ffmpeg
  • mongodb 连接工具-NoSQLBooster for MongoDB
    人工智能->软件->nosqlbooster4mongo-8.1.7.exe
  • fastgpt 的 docker-compose 配置
    人工智能->软件->docker 知识库

运行环境

  • Python 3.11.6

启动方式

1、(必选)启动应用层，在根目录

#进入虚拟环境
& 盘符:路径/pylib/aivenv/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动对接b站直播程序
#一：1.b站直播间 2.api web
#二：1.fastgpt   1.text-generation-webui
#三：输入你的B站直播间编号
python bilibili-live-api.py

配置内容须知：

  • 人工智能名称：Ai_Name="吟美"
  • B 站直播间鉴权：yml 配置-room_id、sessdata、ACCESS_KEY_ID、ACCESS_KEY_SECRET、APP_ID、ROOM_OWNER_AUTH_CODE
    room_id：B 站直播间编号
    sessdata：直播间会话值
    ACCESS_KEY_ID、ACCESS_KEY_SECRET：在开放平台申请的开发者密钥
    APP_ID：在开放平台创建的项目 ID
    ROOM_OWNER_AUTH_CODE：B 站身份码
  • Vtuber Studio 表情 websocket 服务：
    ws = websocket.WebSocketApp("ws://127.0.0.1:8001",on_open = on_open)
    以下是表情鉴权，详细看文档【十三、Vtuber 表情控制-获取令牌和授权】：
    vtuber_pluginName="自定义插件名称"
    vtuber_pluginDeveloper="winlone"
    vtuber_authenticationToken="这个令牌从获取令牌接口获取"
  • 鉴黄服务：nsfw_server="192.168.2.198:1801"
  • 语音合成：
    gtp_vists_url="192.168.2.58:9880"
    语音合成线程池：speech_max_threads: 5
  • 跳舞功能：
    OBS 软件的 websocket 服务【用于跳舞、表情播放、场景切换、背景音乐播放等】
    obs = ObsWebSocket(host="192.168.2.198",port=4455,password="123456")
    跳舞视频抽取路径【支持子文件夹】
    dance_path = 'H:\人工智能\ai\跳舞视频\横屏'
    表情视频抽取路径【支持子文件夹】
    emote_path = 'H:\人工智能\ai\跳舞视频\表情'
  • 场景音乐：
    song_background={"海岸花坊":"J:\ai\背景音乐\海岸花坊.rm", "神社":"J:\ai\背景音乐\神社.mp3", "清晨房间":"J:\ai\背景音乐\清晨房间.mp3", "粉色房间":"J:\ai\背景音乐\粉色房间.rm", "花房":"J:\ai\背景音乐\花房.mp3"}
  • 唱歌服务 Auto-Convert-Music
    地址：singUrl = "192.168.2.58:1717"
    排除不需要学习的歌曲【支持正则】:song_not_convert
  • 绘画服务 stable-diffusion-webui
    地址：drawUrl = "192.168.2.58:7860"
  • 聊天服务 text-generation-webui
    地址：tgwUrl = "192.168.2.58:5000"
  • 聊天服务 fastgpt
    知识库地址：fastgpt_url = "192.168.2.198:3000"
  • fastgpt 令牌：fastgpt_authorization="Bearer fastgpt-GNtIO9ApmbiFdC0R5IVkoXN5TGdGyiURh7bJ8i8CTyVINpU3GjN4Wr"
  • 搜索服务代理：duckduckgo_proxies="socks5://127.0.0.1:10806"
  • 搜图服务代理：proxies = {"http": "socks5://127.0.0.1:10806", "https": "socks5://127.0.0.1:10806"}
  • 流式分割字符：split_flag=",|，|。|!|！|?|？|\n"
  • 流式分割字符数量：split_num = 4

2-1、(可选)启动 LLM 聊天服务 【fastgpt】+【one-api】+【Xinference】

fastgpt：https://github.com/labring/FastGPT
one-api：https://github.com/songquanpeng/one-api
Xinference：https://github.com/xorbitsai/inference
启动：使用 window WSL 的 docker 启动，启动流程看教程文档第 23 点
教程视频：https://www.bilibili.com/video/BV1SH4y1J7Wy/

2-2、(可选)启动 LLM 聊天服务 text-generation-webui

项目 github：https://github.com/oobabooga/text-generation-webui

#进入虚拟环境
& 盘符:py虚拟空间路径/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动text-generation-webui程序，start.bat是我自定义的window启动脚本
./start.bat

window 的 bat 启动命令：

python server.py --trust-remote-code --listen-host 0.0.0.0 --listen-port 7866 --listen --api --api-port 5000 --model chatglm2-6b --load-in-8bit --bf16

API 访问：http://127.0.0.1:5000/

3、(必选)语音合成-Ai 发声

项目地址：https://github.com/fishaudio/Bert-VITS2
启动：使用 Bert-VITS2-clap-novq-ui 里面的 start.bat 启动
定制页面：hiyoriUI.py 包含中英日混合语音合成方法，需要放到对应项目，不一定兼容
效果：Ai 与用户的语音互动，包括：聊天、绘画提示、唱歌提示、跳舞提示等

4、(可选)启动绘画服务 stable-diffusion-webui

项目地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui

#进入虚拟环境
& 盘符:py虚拟空间路径/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#配置api服务webui-user.bat
@echo off
set PYTHON=.\pydraw\Scripts\python.exe
set GIT=
set VENV_DIR=.\pydraw\
set COMMANDLINE_ARGS=--api
call webui.bat
#启动text-generation-webui程序，start.bat是我自定义的window启动脚本
./webui-user.bat

效果：输入“画画 xxx”，触发 Ai 使用 stable-diffusion 进行绘图

5、(可选)启动绘画鉴黄服务 public-NSFW-y-distinguish

项目地址：https://github.com/fd-freedom/public-NSFW-y-distinguish

运行环境（必要）：Python 3.6.13
pip install -r requirements.txt
# 此文件为本人特制
py nsfw_web.py

6、(可选)启动唱歌服务 Auto-Convert-Music

原创开发者：木白 Mu_Bai、宫园薰ヾ(≧∪≦*)ノ〃
项目地址：https://github.com/MuBai-He/Auto-Convert-Music
启动：使用 Auto-Convert-Music 里面的 start.bat 启动
效果：输入“唱歌 歌曲名称”，触发 Ai 从歌库学习唱歌

7、(必选)皮肤启动，安装 steam，安装 VTube Studio

这个自行下载 steam 平台，在平台里面有一个 VTube Studio 软件，它就是启动 live2D 的虚拟主播皮肤

8、(必选)虚拟声卡驱动

安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66 官方版
效果：Ai 主播的发声来源

9、(可选)AI 回复框【HTML 插件】

把项目文件：ai-yinmei\html\chatui.html 放入 OBS 浏览器插件展示
效果：Ai 的回复内容会在回复插件显示

10、(可选)歌单显示【HTML 插件】

把项目文件：ai-yinmei\html\songlist.html 放入 OBS 浏览器插件展示
效果：用户点歌的歌单会在上面以列表形式显示：
'xxx 用户'点播《歌曲名称》[正在播放]
'xxx 用户 2'点播《歌曲名称》

11、(可选)时间显示【HTML 插件】

把项目文件：ai-yinmei\html\time.html 放入 OBS 浏览器插件展示

此外，需要在 text-generation-webui/models 路径放入 LLM 模型，我这里放的是 chatgml2 的模型，大家可以任意选择底层 LLM 模型，例如，千问、百川、chatglm、llama 等
更多详细技术细节，请看技术文档：https://note.youdao.com/s/1k0x7BLt

12、(可选)跳舞能力

跳舞视频的存放地址【支持子文件夹存放】： dance_path = 'J:\ai\跳舞视频\横屏'
效果：输入跳舞，立即进行跳舞视频随机抽取播放；输入\停止跳舞，可以立即停止跳舞

13、(可选)弹出视频表情

表情视频的存放地址【支持子文件夹存放】： emote_path = 'H:\人工智能\ai\跳舞视频\表情'
效果：输入#rnd 或者 #表情视频文件名，立即进行表情视频播放，#rnd 为随机播放表情视频
表情视频的名称展示【支持子文件夹存放】： emote_font = 'H:\人工智能\ai\跳舞视频\表情\表情符号'
效果：表情名称会显示在 obs 的字体控件，提示用户可以输入这些表情名称

14、(可选)funasr 语音识别客户端

打开客户端页面：./funasr/html-client/index.html
服务端：需要根据阿里 funasr进行配置, 建议安装容器，参考服务器部署文档：

docker run -p 10095:10095 --name funasr -it --privileged=true -v /j/ai/ai-code/funasr/models:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.9

目录说明

  • text-generation-webui【第三方工具】：
    LLM 聚合接口，可以放置 chatglm 等大语言模型，然后进行参数配置后，再输入角色卡进行角色扮演聊天
    https://github.com/oobabooga/text-generation-webui
  • LLaMA-Factory【AI 训练】：
    AI 聚合训练工具，可以界面化配置训练参数，可视化 ai 训练，相当强大
    https://github.com/hiyouga/LLaMA-Factory
  • ChatGLM、ChatGLM2、ChatGLM3【语言模型】：
    放置的是清华大学研发的自然语言模型，可以自行添加如：百川、千问、LLAMA 等其他大语言模型
  • SillyTavern【第三方工具】：
    酒馆，强大的 AI 角色扮演，但是该项目没有公开接口调用，而且 TTS 语言合成很缓慢，暂未集成使用
    https://github.com/SillyTavern/SillyTavern
  • output【输出路径】：
    输出的文本 txt、语音 mp3 文件都在这里
  • ChatGLM2\ptuning【AI 训练】：
    ChatGLM 官方训练例子
  • ChatGLM2\ptuning\zero_nlp【AI 训练】：
    ai 的 lora 训练模式

特别鸣谢

更多关注

  • 讨论 Q 群：27831318