/vlm_arm

机械臂+大模型+多模态=人机协作具身智能体

Primary LanguageJupyter Notebook

机械臂+大模型+多模态=人机协作具身智能体

视频【机械臂接入GPT4o大模型,秒变多模态AI贾维斯】:https://www.bilibili.com/video/BV18w4m1U7Fi

架构图

目标:听人话、看图像、找坐标、排动作、定格式

智能体Agent大语言模型:Yi-Large、Claude 3 Opus

多模态视觉理解大模型:GPT4v、GPT4o、Yi-Vision、Claude 3 Opus、通义千问Qwen-VL-Max

机械臂:大象机器人 Mycobot 280 Pi

开发板:树莓派4B Ubuntu 20.04

作者:同济子豪兄