视障人士交流APP
简介:本项目是在已有的盲杖系统APP上引入了文心一言大模型,增加盲人对话互动功能,完善项目生态
主要目标:做一个APP页面的前端,目标是能在页面中用语音输入问题,后端语音转文字后调用chat大模型生成回复,用语音输出chat的结果。
目前,所有百度模型调用已经分了几个部分在python中调用成功,分别有: 1、chat基本模板
2、Pyttx3包实现文字转语音 3、speech_recognition包实现语音转文字 4、进阶:图片转文字 (输入图片的功能看进度,如果时间紧就不实现)
有一个粗糙的可视化gui看一下效果:
APP页面有两种实现方式: 1、只做一个语音输入键,点击即可用手机麦克风输入问题,再点击可打断语音播报回复继续输入; 2、做成对话框模式,有语音输入键输入后的句子和回答的内容都展现在页面上
(两者都可以,因为计设省赛时间有点紧看你们怎么做比较容易实现就行)
最后的效果最低要求是可以在电脑上实现页面展示和功能演示,方便录视频,如果能有apk更好^^