小爱(小米)音箱接入通义千问、ChatGPT 等大语言模型。
本仓库由 yihong0618/xiaogpt fork 而来,主要改动:
- 针对国内网络环境及大部分人的情况,将阿里巴巴
通义千问
的接入作为主线,简化使用成本; - 对 Docker 部署进行了一些调整和细化,可以很方便的在 PC 或群晖 NAS 上部署并为小爱接入千问。
因为修改和优化的侧重方向不同,因此暂时先不合并回原仓库。如果希望优先接入的是 GPT系列/Gemini 等模型基座,建议直接使用原作者 yihong0618/xiaogpt 在 PyPI 上已经上传好的包,非常方便。
yihong0618.1635132234935177216.mp4
1.3 一点原理(by 原作者 yihong0618)
API Key 用于后续调用通义千问的 --qwen_key
参数:
- 若没有阿里云账号,需进行注册:https://www.aliyun.com/;
- 前往 API key 管理页面,创建新的 API-Key:https://dashscope.console.aliyun.com/apiKey;
- 后续 API key 使用情况,可在总览页面查看:https://dashscope.console.aliyun.com/overview。
参考:
- MiService Fork 版:https://github.com/yihong0618/MiService
- 原始仓库:https://github.com/Yonsm/MiService
获取步骤:
第1步(若无特殊诉求,可直接安装 miservice_fork 包):
pip install miservice_fork -i https://pypi.tuna.tsinghua.edu.cn/simple
如果有修改诉求,可使用 virtualenv 本地创建虚拟环境并安装(避免污染全局 Python 环境):
git clone git@github.com:yihong0618/MiService.git
python3 -m venv .venv
source .venv/bin/activate
pip3 install .
第2步(设置环境变量):
注:如果遇到特殊字符等奇怪的问题,也可以直接修改
miservice/cli.py
中env.get("MI_USER")
及env.get("MI_PASS")
部分,直接替换为真实的用户名及密码。
export MI_USER=xxxx
export MI_PASS=xxx
第3步(获取小米设备ID,取小爱音箱设备配置的 did
字段):
示例返回: { "name": "小爱", "model": "xiaomi.wifispeaker.l06a", "did": "xxxxxx", "token": "xxxxxx" }
micli list
后续可将 MI_DID 设置进环境变量,供 xiaogpt 获取。
获取 DID 报错时,可尝试更换一下无线网络
常见问题:
- 报错
AttributeError: 'NoneType' object has no attribute 'encode'
,可以看看是否未成功设置环境变量(例如 bash 下是否未使用 export 而是使用了 set)。- 在
self.token['userId'] = resp['userId']
的地方报错,可以看看 MI_USER 是否用的是小米 ID 而非可以用于登录的小米邮箱或用户名。
本地安装,拉取仓库:
git clone https://github.com/zxjsdp/xiaogpt.git
创建 Python virtualenv,避免污染全局 Python 环境:
cd xiaogpt
python3 -m venv .venv
source .venv/bin/activate
在 virtualenv 中安装 xiaogpt 及依赖:
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 或如果需要对源码做一些调整
pip3 install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
参考 2.2 获取小爱设备 DID 后,设置 MI_DID 环境变量:
export MI_DID=xxxxxx
获取小爱音箱设备型号,在小爱音箱底部,例如:
L06A
本地快捷运行:
xiaogpt --hardware L06A --mute_xiaoai --use_qwen --qwen_key 'sk-xxxxxx' --stream
备注:
本 fork 中将千问模型改为了 qwen_max(因为 24 年初 qwen_max 限免,暂不计算 token 费用)。若需要调整回 qwen_turbo 等其他模型,可在
qwen_bot.py
中搜索替换Generation.Models.qwen_max
同时为了使用 qwen_max,本仓库升级了部分包版本:
dashscope==1.14.1
也可以通过配置文件运行,复制仓库下的 xiao_config.json.example
,修改对应字段(以运行千问的 config 为例):
{
"use_qwen": true,
"hardware": "<小爱设备型号>",
"qwen_key": "<阿里云 API Key>",
"mi_did": "<小爱设备DID>",
"account": "<小米账号>",
"password": "<小米密码>",
"stream": false,
"use_command": false,
"mute_xiaoai": true,
"verbose": false,
"tts": "mi",
"edge_tts_voice": "zh-CN-XiaoxiaoNeural",
"prompt": "请用100字以内回答",
"keyword": ["请"],
"change_prompt_keyword": ["更改提示词"],
"start_conversation": "开始持续对话",
"end_conversation": "结束持续对话"
}
然后运行:
python3 xiaogpt.py --config xiao_config.json
# 或直接
xiaogpt --config xiao_config.json
接下来即可与小爱音箱对话,包含请
关键词时,会触发查询通义千问API(例如:呼叫“小爱同学”唤起对话后,说“请问你是谁”)。
备注:小爱音箱默认 TTS 读 Qian Wen 存在一些问题,因此念出的名称也做了一些调整。
从 DockerHub 拉取面向接入通义千问优化后的 image:
docker pull zxjsdp/xiaogpt:latest
网络条件不佳的话,也可基于本 repo 直接构建 Docker 镜像:
docker build -t xiaogpt .
运行 Docker 镜像:
注:xiaogpt_config.json 文件可以放到本机或 NAS 上,挂载映射到容器里作为配置使用。
# 临时调试(挂载映射刚刚修改好的 xiaogpt_config.json 文件)
docker run --rm -it -p 9527:9527 -v ./xiao_config.json:/app/xiao_config.json xiaogpt
# 后台长期运行(挂载容器外的 xiaogpt_config.json 文件)
docker run --name xiaogpt -dp 9527:9527 -v /path/to/xiao_config.json:/app/xiao_config.json xiaogpt
常见错误:
- 如果运行报错
登录验证失败
,可以检查一下 xiaogpt_config.json 里面的小米用户名及密码是否有正确填写。
pip install -U --force-reinstall xiaogpt
- 参考我 fork 的 MiService 项目 README 并在本地 terminal 跑
micli list
拿到你音响的 DID 成功 别忘了设置 export MI_DID=xxx 这个 MI_DID 用 - run
xiaogpt --hardware ${your_hardware} --use_chatgpt_api
hardware 你看小爱屁股上有型号,输入进来,如果在屁股上找不到或者型号不对,可以用micli mina
找到型号 - 跑起来之后就可以问小爱同学问题了,“帮我"开头的问题,会发送一份给 ChatGPT 然后小爱同学用 tts 回答
- 如果上面不可用,可以尝试用手机抓包,https://userprofile.mina.mi.com/device_profile/v2/conversation 找到 cookie 利用
--cookie '${cookie}'
cookie 别忘了用单引号包裹 - 默认用目前 ubus, 如果你的设备不支持 ubus 可以使用
--use_command
来使用 command 来 tts - 使用
--mute_xiaoai
选项,可以快速停掉小爱的回答 - 使用
--account ${account} --password ${password}
- 如果有能力可以自行替换唤醒词,也可以去掉唤醒词
- 使用
--use_chatgpt_api
的 api 那样可以更流畅的对话,速度特别快,达到了对话的体验, openai api, 命令--use_chatgpt_api
- 使用 gpt-3 的 api 那样可以更流畅的对话,速度快, 请 google 如何用 openai api 命令 --use_gpt3
- 如果你遇到了墙需要用 Cloudflare Workers 替换 api_base 请使用
--api_base ${url}
来替换。 请注意,此处你输入的api应该是'https://xxxx/v1
'的字样,域名需要用引号包裹 - 可以跟小爱说
开始持续对话
自动进入持续对话状态,结束持续对话
结束持续对话状态。 - 可以使用
--tts edge
来获取更好的 tts 能力 - 可以使用
--tts openai
来获取 openai tts 能力 - 可以使用
--use_langchain
替代--use_chatgpt_api
来调用 LangChain(默认 chatgpt)服务,实现上网检索、数学运算..
e.g.
export OPENAI_API_KEY=${your_api_key}
xiaogpt --hardware LX06 --use_chatgpt_api
# or
xiaogpt --hardware LX06 --cookie ${cookie} --use_chatgpt_api
# 如果你想直接输入账号密码
xiaogpt --hardware LX06 --account ${your_xiaomi_account} --password ${your_password} --use_chatgpt_api
# 如果你想 mute 小米的回答
xiaogpt --hardware LX06 --mute_xiaoai --use_chatgpt_api
# 使用流式响应,获得更快的响应
xiaogpt --hardware LX06 --mute_xiaoai --stream
# 如果你想使用 gpt3 ai
export OPENAI_API_KEY=${your_api_key}
xiaogpt --hardware LX06 --mute_xiaoai --use_gpt3
# 如果你想使用 google 的 gemini
xiaogpt --hardware LX06 --mute_xiaoai --use_gemini --gemini_key ${gemini_key}
# 如果你想使用阿里的通义千问
xiaogpt --hardware LX06 --mute_xiaoai --use_qwen --qen_key ${qwen_key}
# 如果你想用 edge-tts
xiaogpt --hardware LX06 --cookie ${cookie} --use_chatgpt_api --tts edge
# 如果你想使用 LangChain + SerpApi 实现上网检索或其他本地服务(目前仅支持 stream 模式)
export OPENAI_API_KEY=${your_api_key}
export SERPAPI_API_KEY=${your_serpapi_key}
xiaogpt --hardware Lx06 --use_langchain --mute_xiaoai --stream --openai_key ${your_api_key} --serpapi_api_key ${your_serpapi_key}
使用 git clone 运行
export OPENAI_API_KEY=${your_api_key}
python3 xiaogpt.py --hardware LX06
# or
python3 xiaogpt.py --hardware LX06 --cookie ${cookie}
# 如果你想直接输入账号密码
python3 xiaogpt.py --hardware LX06 --account ${your_xiaomi_account} --password ${your_password} --use_chatgpt_api
# 如果你想 mute 小米的回答
python3 xiaogpt.py --hardware LX06 --mute_xiaoai
# 使用流式响应,获得更快的响应
python3 xiaogpt.py --hardware LX06 --mute_xiaoai --stream
# 如果你想使用 gpt3 ai
export OPENAI_API_KEY=${your_api_key}
python3 xiaogpt.py --hardware LX06 --mute_xiaoai --use_gpt3
# 如果你想使用 ChatGLM api
python3 xiaogpt.py --hardware LX06 --mute_xiaoai --use_glm --glm_key ${glm_key}
# 如果你想使用 google 的 bard
python3 xiaogpt.py --hardware LX06 --mute_xiaoai --use_bard --bard_token ${bard_token}
# 如果你想使用 google 的 gemini
python3 xiaogpt.py --hardware LX06 --mute_xiaoai --use_gemini --gemini_key ${gemini_key}
# 如果你想使用阿里的通义千问
python3 xiaogpt.py --hardware LX06 --mute_xiaoai --use_qwen --qen_key ${qwen_key}
# 如果你想使用 LangChain+SerpApi 实现上网检索或其他本地服务(目前仅支持 stream 模式)
export OPENAI_API_KEY=${your_api_key}
export SERPAPI_API_KEY=${your_serpapi_key}
python3 xiaogpt.py --hardware Lx06 --use_langchain --mute_xiaoai --stream --openai_key ${your_api_key} --serpapi_api_key ${your_serpapi_key}
如果想通过单一配置文件启动也是可以的, 可以通过 --config
参数指定配置文件, config 文件必须是合法的 JSON 格式
参数优先级
- cli args > default > config
python3 xiaogpt.py --config xiao_config.json
# or
xiaogpt --config xiao_config.json
或者
cp xiao_config.json.example xiao_config.json
python3 xiaogpt.py
若要指定 OpenAI 的模型参数,如 model, temporature, top_p, 请在config.json中指定:
{
...
"gpt_options": {
"temperature": 0.9,
"top_p": 0.9,
}
}
具体参数作用请参考 Open AI API 文档。 ChatGLM 文档 Bard-API 参考
参数 | 说明 | 默认值 | 可选值 |
---|---|---|---|
hardware | 设备型号 | ||
account | 小爱账户 | ||
password | 小爱账户密码 | ||
openai_key | openai的apikey | ||
serpapi_api_key | serpapi的key 参考 SerpAPI | ||
glm_key | chatglm 的 apikey | ||
gemini_key | gemini 的 apikey 参考 | ||
qwen_key | qwen 的 apikey 参考 | ||
bard_token | bard 的 token 参考 Bard-API | ||
cookie | 小爱账户cookie (如果用上面密码登录可以不填) | ||
mi_did | 设备did | ||
use_command | 使用 MI command 与小爱交互 | false |
|
mute_xiaoai | 快速停掉小爱自己的回答 | true |
|
verbose | 是否打印详细日志 | false |
|
bot | 使用的 bot 类型,目前支持gpt3,chatgptapi和newbing | chatgptapi |
|
tts | 使用的 TTS 类型 | mi |
edge 、 openai |
tts_voice | TTS 的嗓音 | zh-CN-XiaoxiaoNeural (edge), alloy (openai) |
|
prompt | 自定义prompt | 请用100字以内回答 |
|
keyword | 自定义请求词列表 | ["请"] |
|
change_prompt_keyword | 更改提示词触发列表 | ["更改提示词"] |
|
start_conversation | 开始持续对话关键词 | 开始持续对话 |
|
end_conversation | 结束持续对话关键词 | 结束持续对话 |
|
stream | 使用流式响应,获得更快的响应 | false |
|
proxy | 支持 HTTP 代理,传入 http proxy URL | "" | |
gpt_options | OpenAI API 的参数字典 | {} |
|
bing_cookie_path | NewBing使用的cookie路径,参考这里获取 | 也可通过环境变量 COOKIE_FILE 设置 |
|
bing_cookies | NewBing使用的cookie字典,参考这里获取 | ||
deployment_id | Azure OpenAI 服务的 deployment ID | 参考这个如何找到deployment_id | |
api_base | 如果需要替换默认的api,或者使用Azure OpenAI 服务 | 例如:https://abc-def.openai.azure.com/ |
- 请开启小爱同学的蓝牙
- 如果要更改提示词和 PROMPT 在代码最上面自行更改
- 目前已知 LX04、X10A 和 L05B L05C 可能需要使用
--use_command
,否则可能会出现终端能输出GPT的回复但小爱同学不回答GPT的情况。这几个型号也只支持小爱原本的 tts. - 在wsl使用时, 需要设置代理为 http://wls的ip:port(vpn的代理端口), 否则会出现连接超时的情况, 详情 报错: Error communicating with OpenAI
- 用破解么?不用
- 你做这玩意也没用啊?确实。。。但是挺好玩的,有用对你来说没用,对我们来说不一定呀
- 想把它变得更好?PR Issue always welcome.
- 还有问题?提 Issue 哈哈
- Exception: Error https://api2.mina.mi.com/admin/v2/device_list?master=0&requestId=app_ios_xxx: Login failed @KJZH001
这是由于小米风控导致,海外地区无法登录大陆的账户,请尝试cookie登录 无法抓包的可以在本地部署完毕项目后再用户文件夹C:\Users\用户名
下面找到.mi.token,然后扔到你无法登录的服务器去
若是linux则请放到当前用户的home文件夹,此时你可以重新执行先前的命令,不出意外即可正常登录(但cookie可能会过一段时间失效,需要重新获取)
详情请见 yihong0618#332
https://www.youtube.com/watch?v=K4YA8YwzOOA
X86/ARM Docker Image: yihong0618/xiaogpt
docker run -e OPENAI_API_KEY=<your-openapi-key> yihong0618/xiaogpt <命令行参数>
如
docker run -e OPENAI_API_KEY=<your-openapi-key> yihong0618/xiaogpt --account=<your-xiaomi-account> --password=<your-xiaomi-password> --hardware=<your-xiaomi-hardware> --use_chatgpt_api
xiaogpt的配置文件可通过指定volume /config,以及指定参数--config来处理,如
docker run -v <your-config-dir>:/config yihong0618/xiaogpt --config=/config/config.json
docker build -t xiaogpt .
如果在安装依赖时构建失败或安装缓慢时,可以在构建 Docker 镜像时使用 --build-arg
参数来指定国内源地址:
docker build --build-arg PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple -t xiaogpt .
如果需要在Apple M1/M2上编译x86
docker buildx build --platform=linux/amd64 -t xiaogpt-x86 .
我们目前支持两种第三方 TTS:edge/openai
edge-tts 提供了类似微软tts的能力
你可以通过参数 tts
, 来启用它
{
"tts": "edge",
"tts_voice": "zh-CN-XiaoxiaoNeural"
}
查看更多语言支持, 从中选择一个
edge-tts --list-voices
由于 Edge TTS 启动了一个本地的 HTTP 服务,所以需要将容器的端口映射到宿主机上,并且指定本地机器的 hostname:
docker run -v <your-config-dir>:/config -p 9527:9527 -e XIAOGPT_HOSTNAME=<your ip> yihong0618/xiaogpt --config=/config/config.json
注意端口必须映射为与容器内一致,XIAOGPT_HOSTNAME 需要设置为宿主机的 IP 地址,否则小爱无法正常播放语音。
- XiaoBot -> Go语言版本的Fork, 带支持不同平台的UI
谢谢就够了