暂无菜单项

CyberFactory与OpenAegis详解:如何把真实漏洞炼成可验证Agent训练轨迹

发布于
74

从真实 CVE 到可验证 Agent 轨迹:CyberFactory 如何把漏洞分析流程“训练进”OpenAegis

一句话看懂:CyberFactory 不是单纯收集漏洞问答数据,而是重建修复前后的可执行程序环境,让 Agent 搜索代码、调用工具、编译运行并依据反馈修正方案;验证通过的完整轨迹再用于训练 OpenAegis。

CyberFactory与OpenAegis网络安全Agent训练框架
CyberFactory连接真实漏洞任务构造、Skill引导轨迹生成、自动验证和模型训练。

AI“知道漏洞”与真正“完成漏洞研究”是两回事

给模型一段漏洞描述和代码仓库,它也许能解释缓冲区溢出、整数溢出或越界访问;但真实安全研究要求它持续数十分钟甚至更久,在授权环境中完成代码检索、构建、运行、证据分析和结果验证。决定成败的不只是知识量,还包括能否组织一条长工具链。

研究团队认为,现有开源路线存在四类缺口:前沿开放权重模型通常没有同步开放可复现的网络安全训练流程;公开方案经常只解决单一任务;可规模化的 Agent 轨迹不足;而盲目 Rollout 又缺少领域先验,容易把大量计算浪费在无关尝试上。

北京航空航天大学、ELLIS、新加坡管理大学和 IQuest Research 等机构提出 CyberFactory,并基于这套流程训练 OpenAegis。项目的核心不是“再做一个安全问答模型”,而是补全从真实漏洞材料到可验证 Agent 训练数据的整条链路。

CyberFactory真实漏洞任务与Agent轨迹流程
公开漏洞材料经过环境重建和差分验证后,才能成为可供Agent训练的任务。

两个关键突破:先造出可执行任务,再生成高质量过程

CyberFactory 同时解决“题从哪里来”和“解题过程怎样来”。

  1. 把漏洞材料变成任务:从 CVE、ARVO、OSS-Fuzz、修复提交和崩溃证据中,重建受影响版本、修复版本、构建环境、运行入口和自动判定程序。
  2. 把领域方法变成轨迹:使用可复用的漏洞分析 Skill 引导教师 Agent 检查目标、选择分析方法、验证证据,并在失败后调整策略。

最终保留的不是静态“题目—答案”,而是包含文件阅读、终端操作、编译、运行、失败分析、证据确认和结果提交的连续轨迹。这类监督数据更接近真实安全研究人员的工作过程。

真实漏洞怎样被重建为机器可判定的任务?

公开 CVE 往往只有简短说明和修复提交,并不自带可运行环境。CyberFactory 的构造过程可以概括为三步:

  • 重建修复前后状态:定位源码和修复提交,分别构建漏洞版本与修复版本。
  • 校准证据并筛选任务:把实际执行结果与公开的漏洞类型、崩溃位置和报告信息交叉核验,去除重复、不可构建或无法稳定验证的实例。
  • 生成任务说明:保留完成任务所需信息,同时把仅用于验证和筛选的特权线索移除,避免向训练模型泄露答案。

对于漏洞复现输入,系统采用差分判定:候选输入必须能在修复前版本触发目标问题,同时不能在修复后版本触发。这样,Agent 的输出不靠人工主观打分,而是由程序行为给出可复核结果。

CyberFactory漏洞前后版本差分验证
同一候选输入分别在修复前后环境执行,形成机器可判定的差分验证标准。

Skill 提供方法,不提供某个漏洞的答案

直接让通用模型生成安全任务轨迹,常见问题是反复尝试、构造无效输入、忽略构建约束或在证据不足时过早提交。CyberFactory 因此向教师模型提供任务无关的漏洞分析 Skill,要求它:

  • 检查目标程序、输入形式和构建约束;
  • 根据问题特征选择分析、测试与程序检测方法;
  • 用可执行证据验证推断;
  • 验证失败时保留已知状态并改变策略。

Skill 不包含具体实例答案。教师仍需与隔离环境交互并真正解决任务,只有满足自动判定标准的轨迹才会进入训练集。更重要的是,OpenAegis 推理时并不会再次读取这份 Skill;方法通过监督微调从轨迹迁移到模型参数。

理解重点:这不是让模型背诵一份安全检查清单,而是用检查清单提高教师轨迹质量,再让学生模型从大量成功过程里学习何时搜索、何时检测、何时验证和何时提交。
CyberFactory漏洞分析Skill生成可验证轨迹
领域Skill把随机试错转为系统化探索和证据验证,但不会泄露具体任务答案。

OpenAegis:397B-A17B 的开源网络安全模型

OpenAegis 以 Qwen3.5-397B-A17B 为基础,模型总参数约 397B、每个 Token 激活约 17B。它联合学习三类互补任务:

  • PoC 复现输入生成:把代码分析落实为能在受控环境中执行和验证的候选输入。
  • 漏洞修复:消除安全问题,同时尽量维持原有功能。
  • CyberQA:补充安全概念、原理解释与事实性知识。

项目页面披露,在统一 Agent 脚手架和一小时 CyberGym 预算下,OpenAegis Pass@1 为 58.1%,Qwen3.5 基座为 29.6%,绝对提升 28.5 个百分点;GLM 5.2 为 43.3%,Kimi K2.7 为 51.7%。这些结果只说明特定版本、任务集、脚手架和时间预算下的相对表现,不能直接外推到所有漏洞类型或真实生产系统。

模型 参数规模 CyberGym Pass@1
Qwen3.5 基座 397B-A17B 29.6%
GLM 5.2 744B-A40B 43.3%
Kimi K2.7 1T-A32B 51.7%
OpenAegis 397B-A17B 58.1%
OpenAegis与通用大模型CyberGym评测
相同脚手架和一小时预算下,项目页面显示OpenAegis取得最高通过率。

长任务怎样避免上下文耗尽?90% 时压缩成“继续工作状态”

漏洞研究可能包含数十次工具调用,完整保留每一条历史会迅速消耗上下文。CyberFactory 在上下文使用达到约 90% 时,将轨迹压缩为可继续执行的工作状态,重点保留:

  • 已经验证的证据与程序状态;
  • 失败方法及失败原因;
  • 仍未解决的猜想;
  • 构建状态、生成文件和待执行动作。

项目页面的消融结果显示,90% 阈值压缩取得 58.1% 整体通过率;对超过 40 次工具交互的长任务,通过率为 48.7%,上下文耗尽比例降至 7.0%。完整历史策略的对应数据为 52.1%、40.2% 和 18.7%。

上下文策略 整体 Pass@1 长任务 Pass@1 上下文耗尽
保留完整历史 52.1% 40.2% 18.7%
简单截断 45.6% 36.8% 24.5%
90% 时压缩 58.1% 48.7% 7.0%

这说明长程 Agent 的上下文管理不是把旧消息随便删掉,而是把任务历史提炼成可以继续行动的结构化状态。

CyberFactory长程Agent上下文压缩实验
在90%上下文占用时进行状态压缩,兼顾证据保留和后续工具调用空间。

从显式 Skill 到模型内化:证据体现在哪里?

在教师轨迹生成阶段,给 GLM 5.2 加入漏洞分析 Skill 后,系统化探索和证据验证几乎成为默认行为。相关实验并非等算力比较:无 Skill 为单次 60 分钟,有 Skill 为每次 15 分钟、重复 5 次,因此更适合解释为“单位流程获得成功轨迹的效率提高”,而不是严格的单次模型能力对比。

训练完成后,OpenAegis 在推理时不接收 Skill 文本,却表现出同方向变化:

  • 采用领域先验进行系统化探索的轨迹占比从基座的 0.6% 升至 85.2%;
  • 每条轨迹探索操作从 0.01 次升至 1.32 次;
  • 验证操作从接近 0 次升至 1.05 次;
  • 终端工具调用占比从 70.1% 升至 89.9%;
  • AddressSanitizer 编译事件显著增加,提交行为更克制。

这形成了“Skill 引导教师 → 自动验证筛选轨迹 → 监督微调 → 学生模型无提示复现流程”的证据链。它表明程序化领域知识不仅能在推理时提示模型,也能成为数据生成器,最终沉淀为模型行为。

OpenAegis网络安全Skill内化与工具行为变化
OpenAegis不读取Skill文本,仍学会更系统地探索、验证、使用终端和选择提交时机。

安全边界:研究能力提升不等于可以无授权使用

漏洞复现、自动化分析和 PoC 生成具有明显双重用途。CyberFactory 与 OpenAegis 应服务于授权环境中的防御研究、可复现实验、软件审计和模型评测。使用者应确认目标归属与书面授权,并采取隔离、最小权限、网络限制、完整日志和人工复核。

不应将其用于未获授权的扫描、渗透、利用或绕过访问控制。即使在授权项目中,模型生成的判断和修改也必须经过安全工程师验证;自动判定覆盖不了所有业务语义、并发条件和供应链风险。

仍待解决的问题

  • 任务重建受环境限制:依赖版本、构建系统和历史资源缺失,会让部分 CVE 无法稳定复现。
  • 并非所有漏洞适合模糊测试:有些问题需要更强的语义分析、协议理解或人工构造策略。
  • 量化结果集中在 PoC 任务:漏洞修复与 CyberQA 仍需要同样统一、严格的评测。
  • 基准不等于生产系统:真实软件包含权限、业务逻辑、分布式状态和第三方依赖,风险面更复杂。
  • 版本数字可能更新:论文、模型和项目页面持续迭代,引用成绩时应同时记录版本、脚手架和预算。

项目入口与适合人群

CyberFactory 适合研究网络安全 Agent、可验证训练数据、长程工具调用、Skill 数据生成和防御性模型训练的团队。站内已创建完整导航,可查看项目介绍、截图、属性与官方访问地址:

CyberFactory / OpenAegis 项目导航

总结:网络安全模型真正需要学习的是“怎样做成”

OpenAegis 的价值不只是一项更高的 CyberGym 分数,而是验证了一条可复现的能力建设路线:从真实漏洞材料构造可执行任务,用领域 Skill 提高教师 Agent 的轨迹质量,通过自动验证筛选可靠过程,再把探索、检测和证据确认的方法训练进模型参数。

对网络安全大模型而言,增加静态语料只能回答“知道什么”;CyberFactory 试图补上更难的一半——在受控环境中学习如何使用工具、理解执行反馈、修正错误并给出可验证结果。

0 点赞
0 收藏
分享
0 讨论
反馈
热门资讯
相关素材

暂无数据