机械臂+大模型+多模态=人机协作具身智能体

作者：同济子豪兄

相关视频

机械臂接入GPT4o大模型，秒变多模态AI贾维斯：https://www.bilibili.com/video/BV18w4m1U7Fi

听得懂人话、看得懂图像、指哪打哪的机械臂是怎么炼成的：https://www.bilibili.com/video/BV1Cn4y1R7V2

同济子豪兄亚马逊中国峰会演讲：多模态生成式AI的N种玩法：https://www.bilibili.com/video/BV1Pi421U7D6

首发实测！百度文心大模型4.0 Turbo接入机械臂智能体：https://www.bilibili.com/video/BV16M4m1m7Z1

【通义灵码】AI帮我啃祖传代码是什么体验？：https://www.bilibili.com/video/BV1Qz421i7Nd

我的抓药机械臂做了一个违背祖宗的决定：https://www.bilibili.com/video/BV1yr421K7Qs

耗时六个月，我造出了《三体》中机器人刺杀罗辑的KILLER病毒：https://www.bilibili.com/video/BV1Wm42137kR

原理

目标：听人话、看图像、找坐标、排动作、定格式

智能体Agent大语言模型：Yi-Large、Claude 3 Opus、文心大模型4.0 Turbo

多模态视觉理解大模型：GPT4v、GPT4o、Yi-Vision、Claude 3 Opus、智谱CogVLM2-Grounding、通义千问Qwen-VL-Max

机械臂及配件

机械臂：大象机器人Mycobot 280 Pi

开发板：树莓派4B Ubuntu 20.04

配件：摄像头法兰、吸泵

购买同款：淘宝搜大象机器人，报子豪兄粉丝可以打九五折

注意事项

复现教程：https://njapov1vnz.feishu.cn/docx/Qosedmc5NoYK7IxVoMBcD47jn9b?from=from_copylink

开机教程：https://njapov1vnz.feishu.cn/docx/SJQXdIWfUo85HjxXyEBc0Wpfnqc?from=from_copylink

• 需要安装Python 3.12及所需工具包
• 需要把API_KEY.py中的KEY换成你自己的KEY
• 需要确认麦克风ID和扬声器设备
• 需要确认摄像头和语音正常

特别感谢

零一万物 马诺

百度飞桨 刘聪琳

大象机器人售后技术支持团队

恒之未来 宋佩恒

能源算力融合（哈密）研究院算力与计算服务研究所 杨耀东

上海人工智能实验室 李佳伦

华中科技大学网络空间安全学院TAI团队 章航滔

渭南师范学院 田文博