CLASHarness 是什么
CLASHarness 是一个用于评估多 Agent 在计算机操作任务中如何处理冲突的开源基准与生成工具。它关注共享文件锁、过期信息、互相矛盾的指令、异步动作和多模态证据不一致等常见协作问题。
它测的不是“会不会做”，而是“冲突时怎么判”
单 Agent 能完成任务，不代表多个 Agent 一起工作就可靠。CLASHarness 尝试让任务状态、参考轨迹和评分规则可以被验证，帮助研究者观察模型是否能识别冲突、选择可信证据并安全完成操作。
如何开始
- 阅读仓库的安装、许可证与数据集说明。
- 先运行离线 mock 流程，确认本地环境和测试脚本可用。
- 下载评测材料前确认存储、算力和网络预算。
- 接入真实模型或工具前，隔离密钥、文件系统与外部系统权限。
使用边界
仓库位于 google-research 组织，但项目明确说明不是 Google 官方支持产品。基准分数依赖具体模型版本、提示词、工具、任务集和预算，不能被简单外推到所有生产场景。
常见问题
- CLASHarness 是什么？
它是面向多 Agent 计算机操作冲突场景的开源生成与评测工具，包含可控任务生成、状态验证和评测材料。 - 它是否为 Google 官方产品？
仓库位于 google-research 组织，但项目声明其并非 Google 官方支持产品，应按开源研究项目理解。 - 基准测试适合哪些人？
适合研究多 Agent 协作、Computer Use、智能体可靠性和评测体系的开发者、研究者与平台团队。 - 600 条任务意味着什么？
它是项目公开评测集的规模描述；任务难度、模型配置、成本和成绩需按项目当前版本和协议理解。 - 能直接用于生产环境验收吗？
可以作为测试参考，但不能替代针对自身业务权限、数据、工具链和风险边界的专项验收。