Realtime-Bench 是什么
Realtime-Bench 是面向实时互动任务的研究评测,考察模型在环境不停变化、行动窗口有限时能否及时观察、权衡和执行。
三种时间协议
评测使用 Wall Clock、Paused Clock 与 Token Clock 区分真实延迟、理想化推理和 token 生成速度对任务的影响。
如何阅读结果
论文排名与成功率来自指定模型、任务、时钟协议和 Pass³ 指标,不能直接外推为任意真实产品能力。
常见问题
- Realtime-Bench 测什么?
它测试模型在环境持续变化、行动窗口有限时的观察、推理和执行能力。 - 三种时钟协议有什么区别?
Wall Clock 按真实耗时推进,Paused Clock 推理时暂停环境,Token Clock 按生成 token 数模拟时间。 - 论文中的成绩能代表通用能力吗?
不能,结果依赖任务、模型、harness、时钟协议和 Pass³ 指标。 - 为什么更强推理可能失败?
实时环境里更长思考可能错过行动窗口,因此需要平衡推理质量和时机。 - 适合谁参考?
实时 Agent、网页自动化、游戏智能体和交互式评测研究者。

