暂无菜单项

机器人不跳舞了,开始洗衣服:Dyna-2用100万小时人类视频找到具身智能Scaling Law

发布于 更新于
11

导读:“无聊”可能是对商用机器人最高的赞美。Dyna Robotics没有让机器人跳舞或打拳,而是让Taku进入洗衣房,连续完成取衣、操作机器、转移、烘干、折叠和上架。它在约300天真实部署中认识到,机器人不能落地,往往不是少一双灵巧手或一双腿,而是模型、硬件、数据、控制和可观测系统还没有形成闭环。Dyna-2因此从VLA转向世界动作模型,以超过100万小时第一视角人类视频寻找具身智能的Scaling Law。

真实部署而非演示视频,是Dyna衡量机器人能力的核心标准
真实部署而非演示视频,是Dyna衡量机器人能力的核心标准

01 / 机器人接近“GPT时刻”了吗?Jason Ma的答案更克制

第一部分:机器人行业是否正在接近自己的GPT时刻
第一部分:机器人行业是否正在接近自己的GPT时刻
Dyna Robotics联合创始人Jason Ma回顾行业与技术路线
Dyna Robotics联合创始人Jason Ma回顾行业与技术路线
机器人工程师张君武参与讨论真实部署、硬件和数据问题
机器人工程师张君武参与讨论真实部署、硬件和数据问题

Dyna Robotics联合创始人Jason Ma认为,机器人行业可能处于语言模型GPT-2到GPT-3之间,但两者并不能简单类比。语言模型部署到手机和电脑几乎没有物理门槛;机器人即使模型变强,也要解决本体、供应链、控制、安全、维护和现场适配。

他更愿意参考自动驾驶:十多年前已经能做出精彩演示,但从演示到用户真正叫到一辆无人车,中间是漫长的真实世界迭代。具身智能也不会因为一个模型发布就瞬间普及。模型、数据和硬件必须共同进步。

Dyna选择大脑与本体一体化。客户不会为“用了VLA还是世界模型”付费,只关心机器人能否在自己的场景完成复杂、多样且连续的任务。硬件设计也必须吸收模型训练和部署反馈,才能形成飞轮。

02 / 不做双足与灵巧手:真实部署先决定硬件形态

第二部分:Dyna在早期研究、硬件选择与部署中经历的弯路
第二部分:Dyna在早期研究、硬件选择与部署中经历的弯路
访谈围绕模型、硬件、数据和商业部署展开
访谈围绕模型、硬件、数据和商业部署展开
真实机器人任务中的模型进展与连续执行示例
真实机器人任务中的模型进展与连续执行示例

Dyna没有直接做双足全人形,而是采用半人形上身、双臂夹爪和移动底盘。这个选择并非否认腿和灵巧手的长期价值,而是在“接近人类操作形态”与“今天就能稳定部署”之间取平衡。

如果预训练从人类第一视角视频学习,机器人越接近人的操作结构,迁移越自然;但现阶段双足和多指灵巧手的成熟度、速度、遥操作效率和维护成本仍会拖累落地。Dyna内部继续研究灵巧手,却没有急于塞进当前商业系统。

团队认为,今天不能落地的主要原因不是没有腿或手,而是整个系统不够好。现场需要完整的可观测性:模型做了什么、电脑资源是否争用、传感器是否异常、失败发生在哪一步,都必须能被记录和诊断。

03 / 从AlphaGo到机器人:强化学习为什么不能直接照搬

第三部分:AlphaGo如何影响Jason Ma对强化学习的兴趣
第三部分:AlphaGo如何影响Jason Ma对强化学习的兴趣
AlphaGo与李世石的比赛推动一代研究者进入强化学习
AlphaGo与李世石的比赛推动一代研究者进入强化学习

Jason Ma在高中阶段见证AlphaGo战胜李世石,随后进入强化学习与机器人研究。他认同强化学习在奖励明确、模拟器可靠的环境里极其强大,但机器人操作恰恰缺少这两个条件。

游戏规则天然提供奖励,仿真也能并行数千个环境;现实中的抓取、切菜、布料整理和密集接触任务,很难写出完整奖励函数,也难以建立足够准确的模拟器。直接在真机上强化学习,并行度低、成本高、硬件还会损耗。

这也是Dyna早期选择毛巾和衣物的原因:布料难操作,却不容易因为力度误差造成严重损坏,适合让商业化与技术迭代同时推进。

04 / Meta、Google、英伟达经历:人类视频一直是主线

第四部分:Jason Ma在Meta、Google与英伟达的机器人研究经历
第四部分:Jason Ma在Meta、Google与英伟达的机器人研究经历
VIP从真实世界视频中学习可迁移的价值函数
VIP从真实世界视频中学习可迁移的价值函数
大规模第一视角人类视频为机器人预训练提供物理经验
大规模第一视角人类视频为机器人预训练提供物理经验
Ego4D等第一视角数据覆盖多地区和日常活动
Ego4D等第一视角数据覆盖多地区和日常活动
Eureka用语言模型编写奖励函数并在仿真中训练策略
Eureka用语言模型编写奖励函数并在仿真中训练策略
机器人研究尝试让语言模型帮助生成和改进奖励函数
机器人研究尝试让语言模型帮助生成和改进奖励函数
英伟达研究人员Jim Fan介绍通用具身智能方向
英伟达研究人员Jim Fan介绍通用具身智能方向
视觉语言模型的上下文学习研究为具身智能提供启发
视觉语言模型的上下文学习研究为具身智能提供启发

Jason Ma博士阶段的重要判断是:机器人数据太少,必须从人类视频学习物理任务。VIP研究利用视频的时间顺序学习价值先验,判断任务进度;Ego4D等第一视角数据则证明,人的日常活动可以被规模化记录。

在英伟达参与Eureka研究时,团队让GPT-4编写奖励函数代码,在模拟器中训练策略,再把表现反馈给模型继续改写。这是较早的递归式奖励改进路线。后续Dureka进一步探索语言模型与奖励设计,但这些方法距离可靠商业部署仍有工程距离。

这段经历解释了Dyna-2为何押注人类视频:人的动作天然包含任务结构、物体状态变化和接触经验。如果能从大规模视频学习世界如何变化,再用少量机器人数据适配本体,就可能绕开昂贵的遥操作数据瓶颈。

05 / 为什么创业?把研究真正送进客户现场

第五部分:为什么离开大公司创办一家机器人公司
第五部分:为什么离开大公司创办一家机器人公司
投资人与行业研究者对机器人商业化路径的讨论
投资人与行业研究者对机器人商业化路径的讨论

在大公司做研究可以探索前沿问题,但商业机器人要求团队对完整结果负责:模型、硬件、控制、数据采集、运维和客户流程缺一不可。Jason Ma选择创业,是希望把研究从论文和演示推进到真实生产环境。

Dyna的路线因此非常产品导向。团队从未来要生产、部署数万台机器人倒推今天必须解决的问题,而不是先追逐最炫目的动作。研究选题、硬件形态和数据采集都要回答同一个问题:它是否能提高客户现场的成功率和ROI。

06 / 300天部署的教训:任务一变长,错误会像熵一样累积

第六部分:Dyna-1在300天真实部署中暴露的问题
第六部分:Dyna-1在300天真实部署中暴露的问题
Jason Ma强调部署飞轮和系统工程比单次演示更重要
Jason Ma强调部署飞轮和系统工程比单次演示更重要

Dyna-1已经在酒店、餐饮和洗衣等环境部署。真实现场让团队意识到,单步成功率并不等于可用系统:一个五分钟流程包含大量动作,只要每一步有小概率失败,连续执行的总成功率就会迅速下降。

部分错误可以恢复,例如衣物没夹稳后重试;另一些错误会改变环境,使后续动作全部失效。系统必须识别状态、判断是否偏离、选择恢复策略,并在必要时安全请求人工接管。

部署真正训练的是整套系统:模型能力、硬件可靠性、计算资源、日志、远程运维、版本管理和客户现场流程,任何短板都会成为停机原因。

07 / 从VLA转向WAM:不只预测动作,还要理解世界会怎样变化

第七部分:从VLA转向WAM,改用世界预测学习物理规律
第七部分:从VLA转向WAM,改用世界预测学习物理规律

视觉-语言-动作模型通常从图像和语言直接预测动作。Dyna在部署中发现,只学动作容易过拟合特定本体和数据分布,跨本体迁移仍然困难。

Dyna-2采用世界动作模型(WAM):同一生成模型学习未来视频与未来动作。视频预测迫使模型理解物体如何移动、接触后会发生什么、场景怎样演化;动作分支则把这些表示转成机器人控制目标。

官方控制实验显示,在相同动作数据规模下,加入未来视频预测的训练方式显著优于只预测动作;当继续增加没有动作标签的人类视频时,跨本体机器人数据上的泛化能力仍会改善。

08 / Dyna-2的Scaling Law:从1000小时一路加到100万小时

第八部分:Dyna-2的百万小时预训练和Scaling Law
第八部分:Dyna-2的百万小时预训练和Scaling Law
Dyna-2扩大第一视角视频规模以提升跨本体泛化
Dyna-2扩大第一视角视频规模以提升跨本体泛化

Dyna-2使用超过100万小时第一视角人类视频预训练,官方将数据构造成1000、1万、10万和100万小时的嵌套子集,避免不同规模之间因数据分布更换而混淆结果。

官方报告称,随着预训练规模扩大,模型在保留人类数据与未见机器人数据上的预测指标持续改善,并首次展示人类到机器人的跨本体迁移Scaling Law。后训练实验覆盖14项任务和固定双臂、半人形平台、多指手等本体。

  • 14项任务的平均归一化表现从约20%提升至28%、45%和53%。
  • 100万小时模型在14项任务中的9项取得最佳表现。
  • 锁箱钥匙转动在较小数据规模下无法完成,100万小时模型达到90%成功率。
  • 瓶盖旋开只使用约10分钟机器人示范,表现随预训练规模提升至50%。
  • 按指令取饮料的表现从58%提升到83%。

这些数字来自Dyna官方研究,不等于所有客户场景的连续成功率。实验任务、评价方法和后训练配方都有限定条件,真实部署仍需单独验收。

09 / 客户不买Scaling Law,只买一条能跑通的工作流

第九部分:洗衣房等客户现场如何检验机器人ROI
第九部分:洗衣房等客户现场如何检验机器人ROI
Dyna团队讨论机器人进入真实客户场景的部署门槛
Dyna团队讨论机器人进入真实客户场景的部署门槛
半人形机器人Taku执行洗衣、转移和整理流程
半人形机器人Taku执行洗衣、转移和整理流程

Taku进入洗衣房后,需要完成取脏衣、投放、操作洗衣机、转移到烘干机、取出、折叠和上架。它不是一个孤立的抓取模型,而是一条需要移动、双臂协同、设备交互和状态判断的长程工作流。

Dyna优先选择企业场景,因为测试集相对清晰,流程、验收标准和人工协作边界可定义。家庭环境的隐私、安全、儿童、宠物、布局和物品变化更复杂,而且机器人一进入家庭就必须是完整消费产品。

企业部署还能形成数据飞轮:更多机器人带来更多失败案例和现场数据,数据反过来改进模型、硬件和运维。相比模型层低切换成本,硬件与分发渠道一旦进入客户工作流,替换成本更高。

10 / 人形机器人竞赛:精选演示会放大公众期待

第十部分:人形机器人竞争、演示与公众预期
第十部分:人形机器人竞争、演示与公众预期
家用人形机器人展示与真实长期部署之间仍有距离
家用人形机器人展示与真实长期部署之间仍有距离
Jason Ma认为数据、硬件与分发渠道比短期架构热点更关键
Jason Ma认为数据、硬件与分发渠道比短期架构热点更关键
不同机器人创业团队正在探索家庭与企业场景
不同机器人创业团队正在探索家庭与企业场景

机器人行业的演示越来越精彩,但单次成功、剪辑合集与长期无人值守是完全不同的标准。Jason Ma认为,炒作能吸引资本与人才,也可能让公众误以为通用机器人已经到来。

团队内部用一个简单框架理解泡沫:当前能力与公众期待之间的差距,再乘以补齐差距需要的时间。行业确实存在噪声,但数据、硬件和模型也在真实进步,部分商业场景已经能够落地。

他把主要瓶颈归纳为数据与硬件:硬件数量不足就难以部署和收集反馈,数据不足则模型泛化弱、后训练负担重。模型架构热点不断变化,但这两个约束不会轻易消失。

11 / Dyna-3要证明什么?不是更酷的动作,而是更多ROI

第十一部分:Dyna-3下一阶段要证明真实部署与投资回报
第十一部分:Dyna-3下一阶段要证明真实部署与投资回报
Dyna框架把世界模型、规划和强化学习联系起来
Dyna框架把世界模型、规划和强化学习联系起来

Dyna尚未公开Dyna-3的完整定义,但Jason Ma给出的方向很明确:继续扩大人类视频与预训练规模,同时把半人形机器人和模型部署到更多真实场景,用客户ROI验证技术栈。

强化学习仍可能在后训练、控制和仿真中发挥作用,但前提是先把数据、预训练、世界模型和模拟器打好。Dyna这个名字本就来自Richard Sutton关于世界模型与规划的Dyna框架;团队现在的路线,也重新把世界模型放在强化学习之前。

长期目标不是让一个大脑控制所有形态,而是先让一个身体上的同一套智能完成越来越多任务。对商业机器人而言,这条路径可能比追求抽象的“全本体通用”更可验证。

12 / 评估教程:看机器人项目,不要只看演示

  1. 先问任务边界:物品、环境、速度、连续时长和异常情况是否写清楚。
  2. 要求未剪辑长视频:确认成功是否连续发生,人工接管是否被隐藏。
  3. 拆解成功率:单步成功率、整条工作流成功率和每日停机次数要分开统计。
  4. 检查恢复能力:抓取失败、物品掉落、设备未响应和环境变化后能否自恢复。
  5. 检查可观测性:日志、传感器、模型版本、计算资源和远程诊断是否完整。
  6. 计算真实ROI:把维护、耗材、场地改造、人工值守、安全和停机损失算进去。
  7. 区分官方实验与现场验收:论文指标证明技术趋势,客户验收决定是否可用。

13 / 做视频网分析:具身智能的Scaling Law,最终要在停机记录里兑现

Dyna-2最重要的贡献,不只是把数据扩大到100万小时,而是尝试证明大量人类视频可以成为机器人预训练的新轴线。若这种跨本体迁移持续成立,机器人公司就不必为每个本体和任务从零采集同等规模的动作数据。

但具身智能与语言模型最大的不同,是每一次错误都会进入物理世界。模型提升一倍,不代表系统就能连续工作一整天;机械磨损、传感器漂移、网络、算力、设备接口和异常恢复都会进入最终结果。

真正的Scaling Law应该同时包含三条曲线:模型随数据增长的能力曲线、系统随部署时间下降的故障曲线,以及客户随运行规模改善的成本曲线。只有三者一起成立,百万小时训练才会变成商业价值。

站内导航与延伸阅读

官方入口

Dyna Robotics官方网站

0 点赞
0 收藏
分享
0 讨论
反馈
热门资讯
相关素材

暂无数据