导读:Realtime-Bench 把模型放进抢票、拍卖、游戏等会自行推进的环境,测试它能否在有限窗口内发现变化、控制思考时长并及时行动。论文显示,即使是表现最好的模型,在特定实时赛制下仍有大量任务失败;所有分数均应结合时钟协议、任务和 Pass³ 指标理解。
相关导航:https://www.zuoshipin.com/link/62813.html
常见问题
- Realtime-Bench 测什么?
它测试模型在环境持续变化、行动窗口有限时的观察、推理和执行能力。 - 三种时钟协议有什么区别?
Wall Clock 按真实耗时推进,Paused Clock 推理时暂停环境,Token Clock 按生成 token 数模拟时间。 - 论文中的成绩能代表通用能力吗?
不能,结果依赖任务、模型、harness、时钟协议和 Pass³ 指标。 - 为什么更强推理可能失败?
实时环境里更长思考可能错过行动窗口,因此需要平衡推理质量和时机。 - 适合谁参考?
实时 Agent、网页自动化、游戏智能体和交互式评测研究者。






