/xiaozhi-unity

基于虾哥的xiaozhi-esp32项目的Unity版本

Primary LanguageC#MIT LicenseMIT

xiaozhi-unity

基于虾哥的xiaozhi-esp32项目的Unity版本。

主要功能

  • 小智语音聊天
  • 表现模式：
    • Emoji表情
    • VRM模型
  • 语音打断模式：
    • 关键词 (关键词打断-->下一轮对话)
    • 人声 (VAD打断-->延时1s-->下一轮对话)
    • 自由 (VAD打断-->无中断对话)
  • 可配置唤醒词/关键词
  • 两种主题切换
  • 提供自定义配置

支持平台

平台/架构 x64 arm64 armv7a
Windows ✅ -- --
Linux ⚠️ -- --
MacOS ⚠️ ⚠️ --
Android -- ✅ ✅
iOS -- ⚠️ --

✅ 已支持
⚠️ 支持但未测试
❌ 不支持

如何实现

  • 使用FMOD进行音频录制和播放
  • 集成WebRTC APM模块进行音频前处理，支持回声消除，噪声抑制，音频增强
  • 集成sherpa-onnx进行实时语音识别，包括VAD和Keyword Spot检测
  • 集成VRM1.0
  • 使用uLipSync实现口型同步

Reference