失语症患者辅助设备,全国大学生嵌入式芯片与系统设计竞赛,嵌入式人工智能赛道。
基于CubeMX、Keil、X-Cube-AI开发。
- Features
- Product
- X-Cube-AI
- Hardware
- PCB
- 3D Model
- Pins Configuration
- UI
- File Structure
- Project Configuration
- Encoding
- References
屏幕上有三个选项,通过左右倾斜设备,陀螺仪会读取角度,切换不同的带选项。患者通过拂过(遮挡后松开)红外传感器,进行确认选项。相比手机等设备的点触,不容易选错选项,对于难以精准控制自己肢体动作的患者更加友好,操作的鲁棒性更强。并且本身握持的设备,进行倾斜设备和手指拂动的操作,更加简便。
进行确认选项后,设备震动给予患者“选择成功”的反馈,利于患者适应操作流程。
选择“吃饭/喝水、上厕所”选项时,会播放特定的音乐呼叫家属,屏幕界面有对应显示。家属或患者可以再次轻拂过红外传感器,关闭音乐。
而选择“找东西”选项时,设备调用设备底部的摄像头,用户抬起设备像“望远镜”一样找东西,屏幕显示画面与内置的CUBE-AI物体识别结果,辅助患者寻找辨别东西。找到目标时,同样可以呼叫家属。
交互简易,易于患者与家属的理解,可大大促进双方的交流,免于说话交流的不便。
- STM32H7A3ZI-Q (MCU)
- OV7670 (Camera): 320x240, 30fps, RGB565
- ST7735 (2.8" TFT LCD): 240x320, RGB565
- ATK-MPU6050 (Gyroscope)
- SYN6288 (Voice Synthesis)
- LD3320 (Voice Recognition) (Not used)
- Passive Buzzer
- Infra-red Sensor
- Vibration Motor
- Lithium Battery (5V, Micro USB)
- Home
- Calling
├─imgs # Images
├─3d_model # 3D model (Rhino 3D)
└─project # Main project directory
├─H7_Ultimate.ioc # STM32CubeMX project configuration file
├─.ai
├─AI-Data # AI data generated by X-Cube-AI
├─AI-run # AI related code (Image Processing, Inference, etc.)
├─Core # Core code (main.c, gpio.c, spi.c, etc.)
├─Drivers # Device drivers (HAL)
├─Hardware # Hardware specific code (initialization, low-level operations)
│ ├─GUI # TFT GUI code for user interface
│ ├─LD3320 # LD3320 (Not used)
│ ├─mpu6050 # MPU6050
│ ├─Music # Music
│ ├─SCCB # SCCB protocol code for OV7670
│ ├─SYN6288 # SYN6288 (Voice Recognition)
│ └─SYSTEM # System define and delay
├─MDK-ARM # Keil Project
├─Middlewares # X-Cube-AI
└─X-CUBE-AI # X-Cube-AI
- Target: Use MicroLIB
- Debug: ST-Link Debugger
- GB2312