暂无菜单项

RoboColiseum爆冷:Claude Opus 5.5总分反超GPT-6 Astra,机器人却仍被专用模型压制

发布于
3

导读:当GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon进入同一个机器人仿真场,谁最会“动手”?RoboColiseum给出的答案有两层:Claude在这四款大模型中以76.28分险胜,但放到完整榜单,专用机器人策略Paimon仍以77.54分领先。大模型已经很会听指令、看空间,却在复杂连贯动作、模糊视觉和灵巧手任务中暴露出共同短板。

四款前沿模型通过统一Agent2Act框架接入机器人评测
四款前沿模型通过统一Agent2Act框架接入机器人评测

01 / 四款前沿模型同场肉搏:Claude只赢了0.29分

技术报告通过统一Agent2Act框架,把四款多模态大模型接入相同的观察、动作执行和反馈接口,并使用一致任务、固定随机种子与相同通用控制说明。

Claude Opus 5.5在四模型综合比较中以76.28分居首
Claude Opus 5.5在四模型综合比较中以76.28分居首
模型 总分 指令 空间 操作 鲁棒
Claude Opus 5.5 76.28 96.60 82.50 46.70 79.30
GPT-6 Astra 75.99 99.35 78.33 45.86 80.42
GPT-6.1 Sol 70.90 95.50 77.71 40.01 70.40
Gemini 4 Argon 66.85 85.89 69.38 38.79 73.36

Claude Opus 5.5在四模型比较中总分第一,并领先空间推理与通用操作;Astra拿下指令跟随和鲁棒性。Sol总分第三,但报告同时把成本与Token消耗列为实际部署的重要维度。Argon总分较低,却在包裹分拣和部分长程任务中展现局部优势。

比较条件有一个关键限制:Astra、Sol和Opus使用high推理强度;Argon因API在high设置下批量评测过慢,使用medium。报告明确提醒,对Argon的比较同时反映模型差异与推理设置差异。

02 / 真正的冷水:大模型赢了“脑力”,操作仍输给专用策略

大模型在指令和空间理解上突出,复杂操作仍落后专用策略
大模型在指令和空间理解上突出,复杂操作仍落后专用策略

四款大模型在指令跟随和空间推理上得分很高,说明通用多模态模型已经能理解颜色、位置、目标和复杂语言条件。但到了开门、倾倒、上货、双臂配合等通用操作,四款模型的分数都明显下降。

完整官方榜单中,专用策略Paimon以0.7754的综合成绩高于Claude Opus 5.5的0.7628。换句话说,Claude赢的是这场“四款通用大模型内部赛”,还没有击败所有机器人专用模型。

当前大模型更像“脑子快、手还不够稳”的机器人规划者:它们知道目标在哪里、指令是什么意思,却未必能把连续接触、抓取、发力和姿态调整变成稳定动作。

03 / 摄像头一糊,成绩一起掉:视觉鲁棒性是共同命门

真实机器人不会永远得到干净画面。光照变化、镜头噪点、局部遮挡、相机偏移和背景变化都会影响判断。报告的扰动测试显示,图像质量下降会让四款模型全部退步。

图像质量扰动会明显削弱四款大模型的机器人表现
图像质量扰动会明显削弱四款大模型的机器人表现

相对各自指令跟随基线,图像质量扰动下Claude下降约0.20,Gemini下降约0.26,Astra下降约0.32,Sol下降约0.77。Sol的跌幅尤其明显。

这提醒真机团队:模型在高清仿真里成功,不代表低照度、运动模糊、灰尘、反光和传感器抖动下仍可靠。部署前必须主动加入坏画面,而不是只在漂亮数据上测试。

04 / “认识锅”不等于“会端锅”:交互提示暴露物理常识缺口

端锅任务非常典型。模型能够识别锅,却会选择不稳定的抓取位置,像拿着一件烫手物体;当提示明确指出抓住锅柄或两侧后,双臂操作明显改善。

端锅任务中,加入明确抓取提示后模型才能稳定完成
端锅任务中,加入明确抓取提示后模型才能稳定完成

二维识别回答的是“这是什么”,机器人操作还要回答“哪里能接触、怎样发力、怎样保持重心、接下来会发生什么”。语言知识可以帮模型理解用途,但精确接触仍需要几何、深度、触觉、动力学与动作反馈。

05 / 剥夺实验:反馈、深度、抓手说明和历史记录缺一不可

研究团队逐项移除控制框架中的信息,观察成功率、动作次数和耗时如何变化。拿掉动作偏差反馈后,指令跟随成功率从90%降至80%,平均规划决策从16.7次增加到35.6次,平均耗时从32.50分钟增加到58.26分钟。

移除深度信息后,成功率同样降至80%,平均控制步数增至158.2步。没有相机投影自检,机器人更容易反复抓取或让物体脱手;没有抓手几何和接触说明,模型会反复尝试不合适的手部姿态。

反馈、深度、抓手描述和历史记录对成功率与成本的影响
反馈、深度、抓手描述和历史记录对成功率与成本的影响

最直观的是历史记录:在四种“积木放进盒子”布局中,完整系统全部成功;移除历史后只成功两种。失败案例已经抓起积木,却在放置阶段重复同类动作,无法从先前失败中修正计划。

移除历史记录后,机器人在积木放置阶段反复失败
移除历史记录后,机器人在积木放置阶段反复失败

这说明机器人Agent的能力不只来自底层大模型。感知输入、动作接口、执行反馈、记忆和自检共同构成闭环,缺少其中一项,都可能让“聪明模型”变成反复撞墙的执行器。

06 / Astra走出桌面:全身协调、跨房间任务与跨本体控制

技术报告还用GPT-6 Astra探索更广的能力边界。它可以协调底盘、躯干和机械臂,完成拾取垃圾、开门、跨房间取饮料并放到餐桌等长程任务。

GPT-6 Astra协调底盘、躯干和机械臂完成跨房间长任务
GPT-6 Astra协调底盘、躯干和机械臂完成跨房间长任务

同一套Agent框架还能适配ARX、AgileX、G1、G2等不同形态机器人,完成棋子收纳等任务。跨本体能力很重要,因为它意味着高层规划与动作接口有机会复用,而不必为每台机器人重新建立完整语言系统。

同一Agent2Act系统控制不同形态机器人完成棋子收纳
同一Agent2Act系统控制不同形态机器人完成棋子收纳

但这些案例是能力展示,不代表所有任务都稳定成功。报告也指出回放片段的指令和布局可能不同,适合观察行为,不应直接当作成功率估计。

07 / 灵巧手仍是高墙:叠碗、取书、插线全部卡在最后几厘米

当动作从“大开大合”进入毫米级接触,大模型的优势迅速缩小。叠碗时,Astra能接近并接触目标,却无法形成稳定抓取;从拥挤书架取书时,它多次调整姿态仍然失败。

灵巧手叠碗与书架取书暴露精细操作短板
灵巧手叠碗与书架取书暴露精细操作短板

手机充电和插网线同样如此:模型能抓起手机或网线,却无法把接口方向、深度、接触角度和插入力控制到位。

手机充电和插网线任务中模型难以完成精确对准
手机充电和插网线任务中模型难以完成精确对准

即使补充手指和手掌几何信息,部分精细任务仍不能完成。这正是机器人专用策略、触觉模型、低层控制器和高质量示范数据继续存在的价值:语言模型负责理解和规划,专用系统负责把最后几厘米做稳。

08 / RoboColiseum提供了什么:四条榜单与可归因失败分析

RoboColiseum把评测拆成指令跟随、空间推理、通用操作和鲁棒性四条主线。任务覆盖颜色与逻辑指令、相对位置、堆叠与对齐、开门与倾倒、背景和光照变化、相机噪声、抓手变化等。

RoboColiseum具身智能仿真评测平台界面
RoboColiseum具身智能仿真评测平台界面

平台价值不只是给一个总成功率,还希望定位失败发生在哪一步:是没看懂目标、空间估计错误、动作不可执行、抓取后脱手,还是历史里没有吸收上一次反馈。这类诊断比单一榜单更接近真实研发。

平台称其高保真仿真与真机评测具有较高相关性,相同模型的仿真与现实表现差异可控制在10%以内。这是平台给出的校准结论,具体模型和任务仍应独立复测,不能把“虚拟即现实”当作无条件保证。

09 / 使用教程:30分钟评测之前,先把接口和安全边界准备好

  1. 选择评测目标:先确定要测指令、空间、操作还是鲁棒性,不要只追求一个总分。
  2. 部署本地推理服务:让模型在自己的环境中运行,通过平台标准接口接收观察并返回动作。
  3. 验证动作格式:先用少量样例检查坐标、关节、抓手与停止条件,避免格式错误浪费完整配额。
  4. 提交任务:登录平台创建提交,按生成参数连接推理服务并启动评测。
  5. 阅读分项与回放:把失败按感知、规划、动作、反馈和记忆分类,而不是只看排名。
  6. 真机复核:优先复测高频失败和高风险动作,加入急停、速度限制、碰撞保护和人工审批。

平台宣传最快约5分钟完成注册与提交、约30分钟返回结果;实际时间取决于任务、模型响应和队列。不要把访问令牌写进公开仓库,也不要让评测接口拥有真实机器人不必要的权限。

10 / 做视频网分析:通用大模型不会吞掉机器人策略,而会重新分工

这份报告最重要的结论,不是Claude比Astra高0.29分,而是四款大模型呈现出几乎一致的能力曲线:语言和空间强,连续操作弱;画面一差就掉分;没有反馈和历史就反复犯错;进入灵巧手任务,最后几厘米成为高墙。

我们判断,近期最现实的机器人架构会是分层系统:通用多模态模型负责理解目标、拆解任务和调用工具;VLA或专用策略负责技能执行;传统控制器负责实时稳定与安全约束;反馈和记忆再把执行结果送回高层Agent。

因此,机器人公司的积累不会被一个更强LLM瞬间清零。真正稀缺的仍是高质量动作数据、可靠技能库、触觉与深度融合、低层控制、硬件安全和真实场景验证。大模型改变的是上层入口与泛化方式,而不是让物理世界的细节消失。

站内导航与延伸阅读

官方资料

0 点赞
0 收藏
分享
0 讨论
反馈
热门资讯
相关素材

暂无数据