暂无菜单项

Quant Arena让9个大模型做A股量化:5个亏损,最佳代表策略仍跑输市场

发布于 更新于
12

EinsiaAI旗下Navers Lab发布了Quant Arena,试图回答一个比“让大模型预测涨跌”更难的问题:大模型能否像量化研究员一样,提出市场假设、编写可执行策略、根据反馈修改方案,并把最终版本交给从未见过的行情检验。

研究团队把9个前沿模型放入同一套A股量化研究流程。结果显示,按每个模型总分最高的代表配置计算,只有4个策略在2024年获得正收益,另外5个亏损;排名最高的GPT-6 Astra年化收益为10.7%,仍低于17.1%的等权市场基准。

相关入口:Quant Arena官网直达。导航页汇总了项目定位、评测规则、使用方式、核心属性和常见问题,可从这里进入官方项目页。
Quant Arena从研究期到封存评测期的完整流程

不是一道选股题,而是一轮完整研究

Quant Arena覆盖3042只A股,数据包括日频行情以及原始Level-2报价、委托和成交记录。模型需要自己编写Python代码,构造特征并为股票打分,系统没有预先规定因子。

评测被严格分成两个阶段。研究期使用2022至2023年数据,模型最多提交5个候选方案,并根据收益、信号质量、执行错误等反馈继续修改。研究结束后,模型必须冻结一个策略;系统再用完全封存的2024年行情只评一次,结果不会回流给模型。

这种设计主要防止模型不断观察测试集并调整策略。它更接近真实研究中的“开发、定稿、样本外验证”,也把重点从一次性的代码生成,推进到大模型能否完成整条研究闭环。

交易约束被纳入现金账户

模型输出的是股票评分,评估器再按排名构建目标为75只股票的等权多头组合。交易按A股整手规则执行,成交受现金、涨跌停、停牌和流动性影响,手续费及基于模拟订单簿估计的市场冲击也会计入账户。

因此,策略不是在理想条件下按收盘价无限成交。买不进去的仓位会留在现金中,换手过高也会带来成本。榜单同时考察收益、风险、信号质量、换手和特征多样性,而不是只看某个相关性指标。

Quant Arena九个大模型不同推理强度的评测结果

9个代表策略,5个最终亏损

参测模型来自Claude、GPT、Gemini、DeepSeek、Kimi和GLM系列。按官方主榜为每个模型选出的最高总分配置,GPT-6 Astra以51.29分排名第一,2024年年化收益10.7%,Sharpe为0.86,最大回撤为-6.8%。GPT-6 Sol与GPT-5.6 Terra的代表配置分别获得8.6%和8.4%年化收益,Claude Opus 5.5为4.4%。

其余5个代表策略均录得负收益:Gemini 3.8 Flash为-2.9%,DeepSeek V4.1 Flash为-5.7%,GLM-5.3为-7.8%,Kimi K3为-8.5%,Claude Sonnet 5.5为-12.2%。这些数字已经计入交易成本。

这里需要注意“代表配置”的定义。官方主榜按综合得分而非单一收益选取配置;完整结果中也存在收益更高但综合得分不是该模型最佳的配置。例如GPT-6 Sol的medium配置年化收益达到18.4%,但对应总分并非该模型最高。因此,“没有模型跑赢市场”指主榜选出的最高综合得分策略,而不是所有尝试过的单个配置都低于基准。

Quant Arena九个代表策略与等权市场在2024年的现金账户净值

会排序,不等于能把收益装进口袋

研究揭示了一个关键落差:部分模型的RankIC为正,说明它们对全体股票的排序并非完全随机,但组合真正买入的是最高分的一小部分股票,而最高分组的收益未必最好。

Gemini 3.8 Flash和GLM-5.3的RankIC分别为0.045和0.046,代表策略却录得负收益;Claude Opus 5.5的RankIC接近零,账户仍获得4.4%正收益。平均排序能力无法替代对头部选股、参与时机、仓位和成本的控制。

研究团队还发现,不少模型的分组收益呈“驼峰”形:中高分组表现较好,最顶端一组反而回落。也就是说,模型可能掌握了一些宽泛的市场规律,却没有把最有信心的判断校准好。

反馈能修错,但不保证样本外盈利

与一次性生成策略相比,允许模型在研究期接收反馈并迭代后,9个模型的综合得分都提高,平均分从36.47升至43.55。但到了封存的2024年,只有4个模型的年化收益因反馈而提高,6个模型的RankIC有所改善。

反馈最擅长帮助模型修复明显错误,例如无效代码、极端换手或不合理的组合规则,却难以保证研究期改进能够迁移到新行情。这个结果也提醒开发者,智能体能够持续迭代,并不等于它正在形成稳定的市场优势。

开放擂台的价值与局限

Quant Arena已经向其他模型和Agent框架开放。参与者使用相同数据、相同候选次数、相同封存评测期和现金账户规则,可以更公平地比较端到端量化研究能力。官方还提供公开榜单与实时Arena入口。

不过,这仍是历史数据上的模拟研究。股票池、时间区间、交易规则、数据授权与评分权重都会影响结果,回测也无法覆盖真实市场中的容量、延迟、制度变化和未来分布漂移。论文中的EinsiaAI私有策略Kepler-1作为参考项展示,但它与通用大模型采用不同的研发路径,不宜简单视为同条件对决。

快速入口与扩展阅读

怎样正确阅读Quant Arena榜单

第一,不要只看年化收益。Quant Arena的主榜采用综合分,样本外收益权重最高,但也包含研究期表现、风险、信号质量与特征多样性。某个配置收益更高,不代表其综合研究质量一定更好。

第二,要区分“模型”和“配置”。同一模型在不同推理强度下会生成不同策略,结果差异可能很大。官方主榜选择的是该模型综合得分最高的配置,而不是收益最高的配置,因此比较时应同时查看配置、ARR、Sharpe、最大回撤和超额收益。

第三,样本外不等于未来。2024年对研究阶段而言是封存年份,可以减少直接过拟合,但它仍属于已经发生的历史市场。模型在这段行情中的表现,不能外推为未来实盘收益。

如何参与公开评测

  1. 从项目页阅读任务接口、数据授权范围与评分规则。
  2. 准备能够生成和执行Python策略代码的模型或Agent框架。
  3. 在2022至2023年研究窗口内提交候选方案,并在有限反馈下完成迭代。
  4. 从候选中冻结一个最终策略,之后不能继续修改。
  5. 由平台在封存的2024年行情和统一现金账户规则下完成最终评估,并进入公开榜单。

对于开发者,真正值得复现的不只是某个模型的收益数字,而是研究与评测隔离、候选次数限制、交易约束和结果不可回流这一整套实验设计。

它适合哪些团队继续研究

Quant Arena适合量化研究团队、LLM Agent开发者、金融科技实验室、模型评测机构和高校研究者。它也可以用于比较不同工具调用框架、代码执行环境、反馈机制和推理预算对样本外结果的影响。

普通投资者更适合把它当作理解AI能力边界的研究材料,而不是自动荐股工具。平台展示的是模型在受控历史环境中的研究表现,不提供个股买卖建议,也不能替代风险测评、资产配置和持牌专业服务。

风险提示:本文仅介绍AI研究基准和公开实验结果,不构成证券、基金或其他金融产品的投资建议。历史回测表现不代表未来收益。

资料来源:AITNT报道、Quant Arena官方项目页、arXiv论文。

0 点赞
0 收藏
分享
0 讨论
反馈
热门资讯
相关素材

暂无数据