作者：同济子豪兄
机械臂接入GPT4o大模型，秒变多模态AI贾维斯：https://www.bilibili.com/video/BV18w4m1U7Fi
听得懂人话、看得懂图像、指哪打哪的机械臂是怎么炼成的：https://www.bilibili.com/video/BV1Cn4y1R7V2
同济子豪兄亚马逊**峰会演讲：多模态生成式AI的N种玩法：https://www.bilibili.com/video/BV1Pi421U7D6
首发实测！百度文心大模型4.0 Turbo接入机械臂智能体：https://www.bilibili.com/video/BV16M4m1m7Z1
【通义灵码】AI帮我啃祖传代码是什么体验？：https://www.bilibili.com/video/BV1Qz421i7Nd
我的抓药机械臂做了一个违背祖宗的决定：https://www.bilibili.com/video/BV1yr421K7Qs
耗时六个月，我造出了《三体》中机器人刺杀罗辑的KILLER病毒：https://www.bilibili.com/video/BV1Wm42137kR
目标：听人话、看图像、找坐标、排动作、定格式
智能体Agent大语言模型：Yi-Large、Claude 3 Opus、文心大模型4.0 Turbo
多模态视觉理解大模型：GPT4v、GPT4o、Yi-Vision、Claude 3 Opus、智谱CogVLM2-Grounding、通义千问Qwen-VL-Max
机械臂：大象机器人Mycobot 280 Pi
开发板：树莓派4B Ubuntu 20.04
配件：摄像头法兰、吸泵
购买同款：淘宝搜大象机器人，报子豪兄粉丝可以打九五折
复现教程：https://njapov1vnz.feishu.cn/docx/Qosedmc5NoYK7IxVoMBcD47jn9b?from=from_copylink
开机教程：https://njapov1vnz.feishu.cn/docx/SJQXdIWfUo85HjxXyEBc0Wpfnqc?from=from_copylink
- 需要安装Python 3.12及所需工具包
- 需要把API_KEY.py中的KEY换成你自己的KEY
- 需要确认麦克风ID和扬声器设备
- 需要确认摄像头和语音正常
零一万物 马诺
百度飞桨 刘聪琳
大象机器人售后技术支持团队
恒之未来 宋佩恒
能源算力融合（哈密）研究院算力与计算服务研究所 杨耀东
上海人工智能实验室 李佳伦
华中科技大学网络空间安全学院TAI团队 章航滔
渭南师范学院 田文博