暂无菜单项

国产模型组团把GPT与Claude挤下第一?Mio 1.0 Lite九项平均77.15,单次仅6分钱

发布于 更新于
15

导读:更大的模型并不是提升AI能力的唯一办法。南芥智能发布的技术报告提出“模型群体智能”:先测清不同模型的长处,再按任务阶段、成本和时间预算把它们组织起来。Mio 1.0 Lite在9项等权公开基准、13个参评方案中取得77.15分的最高平均成绩,平均成本约0.0621元/请求,同时也是最低值。成绩很醒目,但结论只适用于这组候选池与评测协议,不能简化成“国产模型全面击败所有GPT和Claude”。

Mio 1.0 Lite在13个参评方案中的平均成绩与请求成本
Mio 1.0 Lite在13个参评方案中的平均成绩与请求成本

01 / 不是再造一个巨无霸,而是把偏科模型组织起来

前沿模型能力强,但价格、延迟和任务适配并不总是最优。同一个复杂任务里,理解输入、科学推理、函数调用、多轮对话和生成最终答案,表现最好的往往不是同一款模型。

Mio 1.0 Lite采用一组国产高性价比模型。单独拿出来时,它们未必在综合排行榜领先;经过能力评估和动态调度后,不同模型在擅长环节接力,使整体平均成绩超过了本轮参评的高价单体模型和其他路由方案。

这就是报告定义的模型群体智能:理解、复用并协调不同开发者独立训练的模型能力,以提高任务完成质量与资源利用效率。模型的价值不仅取决于自身平均分,也取决于它能为整个群体补上什么能力。

02 / 77.15分、每次6分钱,具体是怎么评出来的?

报告比较了8款单体模型、4款路由产品和Mio 1.0 Lite,共13个方案。9项公开基准覆盖智能体自动化、函数调用、多轮对话、指令遵循、专家级科学问答、知识推理等任务,并按等权方式计算平均成绩。

Mio 1.0 Lite平均得分77.15,平均请求成本0.0621元。与平均分最高的单体基线相比,它高6.35分,平均成本低94.0%。在AutomationBench、PinchBench、BFCL V3、IFBench和GPQA Diamond五项上,它取得本轮参评方案最高分。

智能体执行与工具调用基准的成绩和单次请求成本
智能体执行与工具调用基准的成绩和单次请求成本

函数调用基准BFCL V3中,Mio得分77.50;参评方案第二名得分66.00,而Mio单次请求成本约为后者的四十分之一。指令遵循IFBench中,Mio得到92.00分,第二名为82.80分。

知识与推理基准的成绩和单次请求成本
知识与推理基准的成绩和单次请求成本
多轮对话、指令遵循与九项等权平均成绩
多轮对话、指令遵循与九项等权平均成绩

其余项目并非全部第一。在QwenClawBench和AA-OmniScience上,它与第一名相差不到1个百分点;MT-Bench落后0.223分;不使用工具的Humanity’s Last Exam差距最大,比最高分低7.97个百分点。报告强调的是帕累托优势:没有参评方案能在同一项上同时以更高成绩和更低成本压过Mio。

评测提醒:平均分来自不同基准的归一化与等权汇总,成本也受模型价格、输出长度和调用策略影响。它适合证明方案值得进一步测试,不等于真实业务中的最终排名。

03 / 模型群体智能,和普通“自动选模型”有什么不同?

简单路由通常根据请求内容挑选一个模型,然后把完整任务交给它。模型群体智能的目标更进一步:任务可以被拆成多个阶段,系统持续参考前一步结果、已消耗预算和剩余时间,为下一步重新选择模型。

例如一个编程Agent修复任务,可以依次经历缺陷诊断、补丁生成、测试执行和错误修正。诊断可能需要推理更强的模型,生成补丁可交给代码模型,测试摘要和格式整理则由低成本模型处理。

从分布式数据、模型宇宙到模型群体智能的演进路径
从分布式数据、模型宇宙到模型群体智能的演进路径

这条路线把模型从“独立产品”变成可组合的能力资源。综合分不高但在某类任务上很强的专家模型,也能因为互补价值留在候选池中。

04 / 三个核心组件:先测清、再分工、最后跑稳

Model Eval:用少量题目建立能力画像

逐一测试每个模型在每道题上的表现成本太高。Model Eval先用少量题目估计模型在某一领域的得分,再利用模型与领域之间的关联预测其他领域表现。报告中的实验涉及25个模型、18个基准和2.5万余道题,每个目标模型只需测试5至40道题。

Model Eval用少量自适应查询估算目标模型的完整基准成绩
Model Eval用少量自适应查询估算目标模型的完整基准成绩

Mio:根据任务状态和预算组织模型

Mio维护一个规模精简、能力互补的候选池,并依据任务进展、成本和时间预算选择下一步模型。团队公开的RobustRouteBench覆盖通用文本、多模态和中文场景,最终测试请求为18,982条。官方仓库显示,中文场景仍未做到全面领先。

Mos:统一运行外部API与自部署模型

Mos负责运行与服务调度,统一管理外部模型接口和自部署模型。报告中的共享缓存实验同时让10个实例加载18.84GB模型文件:直接从对象存储读取需要一小时以上,使用预热共享缓存后约3分钟完成,最高读取提速23.3倍。

模型群体智能框架由能力评估、模型组织、模型空间与服务系统组成
模型群体智能框架由能力评估、模型组织、模型空间与服务系统组成

05 / 这套思路,源头可以追溯到十年前的“学件”

2016年,周志华教授提出“学件”(Learnware)范式:为训练好的模型配备描述能力和适用范围的规约,放入模型市场,让用户面对新任务时按需复用,而不是从头训练。

南芥智能把这套思想延伸到大模型,为每个模型建立包含实测与预测表现的能力画像。只有当保留下来的模型能接替某个模型的工作,且性能损失在允许范围内,候选池才会移除后者。某些平均分普通、但能解决独特问题的模型因此得以保留。

06 / Scaling Law的新维度:规模不只属于单个模型

传统Scaling Law关注参数、数据与计算量。模型群体智能提出另一个可能的增长维度:参与协作的模型数量、能力差异和组织效率,也可能影响系统能力上限。

这个判断目前仍是研究方向,而不是已经建立的普遍定律。候选池扩大到什么程度会继续增益,协作、路由和上下文交接成本会如何增长,都需要更系统的实验。更强单体模型与更好群体协作也不是二选一:单体能力提升会抬高群体下限,专家模型增加则扩大覆盖范围。

07 / 为什么6分钱很重要?Agent不是只调用一次模型

一个Agent任务往往包含几十次甚至上百次模型调用。单次只差几角钱,放到长链路和大规模用户后会变成明显成本。Mio的思路是把常规步骤交给低成本模型,把预算集中到真正困难的环节。

对教育、政务、制造和中小企业来说,这可能比追求“每一步都用最强模型”更现实。但企业必须计算的是完整任务成本:路由判断、额外调用、上下文传递、失败回退和人工审阅都不能漏掉。

08 / 与模力方舟合作:评测进入模型选型现场

南芥智能与开源中国旗下模力方舟开展模型和数据集评测合作,首批覆盖40个模型与50个数据集。目标是让开发者在资源详情页看到多维能力、同题比较和样本难度,再结合真实任务缩小候选范围。

相关方法强调“用数据评估模型,也用模型评估数据”:所有模型都答错的题能暴露共同短板,却未必有助于模型选型;能拉开模型差异的题目更适合刻画能力边界。团队还介绍了被CIKM 2026与EMNLP 2026录用的相关研究,用自适应选题和多种问法提高评估与路由稳定性。

09 / 仍未解决的问题:画像过期、延迟、上下文与责任

技术报告明确表示,目前结果仍属于组件层面的验证。候选模型池组织的消融实验、多步协作、线上实时调度和系统整体收益仍需进一步评估。

  • 能力画像会过期:模型版本、价格和服务状态变化很快,路由依据必须持续更新。
  • 协作会增加延迟:多模型调用、交接和回退可能抵消部分成本优势。
  • 上下文可能失真:多步任务中,摘要和转交容易丢失关键约束。
  • 安全与责任更复杂:跨供应商传输数据、工具权限和错误责任需要清晰规则。
  • 平均分掩盖业务差异:企业仍要用真实请求、失败案例和峰值负载做验证。

10 / 实用教程:怎样验证模型路由是否真的更省钱?

  1. 建立真实测试集:覆盖高频任务、困难任务、边界情况和历史失败案例。
  2. 设立三个基线:最强单模型、最低成本单模型和简单规则路由,避免只与昂贵模型比较。
  3. 统一输出预算:固定最大Token、超时、重试和工具权限,保证成本可比。
  4. 记录完整链路:质量、首Token延迟、总时长、调用次数、路由开销、回退率与人工审阅时间一起统计。
  5. 做盲测:让评审者不知道答案来自哪个模型,减少品牌和价格带来的主观偏差。
  6. 按任务分层:不要只看一个总平均分,分别查看代码、工具、长文档、中文和专业知识表现。
  7. 持续回归:模型升级或价格变化后自动重跑,及时淘汰已经失去优势的路由规则。

11 / 做视频网分析:未来竞争点可能从“谁最强”变成“谁最会组队”

Mio 1.0 Lite最值得关注的不是一张“击败GPT和Claude”的榜单,而是它展示了另一种工程路线:当模型数量不断增加,系统可以把模型差异当作资源,而不是把它们视为只能二选一的竞争者。

这种路线尤其适合Agent。任务越长、步骤越多、工具越复杂,按环节分配模型的空间越大。不过多模型并不会自动产生群体智能;没有可靠能力画像、路由策略、上下文协议和服务基础设施,“组队”也可能只是更贵、更慢、更难排错。

真正的新Scaling Law,或许不是模型数量越多越强,而是可被准确理解、稳定协调的互补能力越多,系统才越强。

站内导航与延伸阅读

官方资料

0 点赞
0 收藏
分享
0 讨论
反馈
热门资讯
相关素材

暂无数据