### [AI终于把“经验”写进模型：MemT 1.0冲到288B，128K记忆省66倍存储](https://www.zuoshipin.com/article/55610)

**Published:** 2026-10-20T14:10:27

**Author:** 天才交易员

**Excerpt:** MemTensor发布MemT 1.0记忆原生模型：Nano为36B总参数、3B激活，Flash达到288B总…

**导读：**AI想持续自我改进，难点不只是“会反思”，而是一次任务里学到的方法能否稳定留到下一次。MemT 1.0没有把更多历史文本塞进上下文，而是把经验压进可更新的内部状态：36B的Nano与288B的Flash，用一条与注意力并行的记忆通路，在代码修复、长期对话和11项记忆基准中验证“记忆原生”路线。它离真正的递归自我改进仍很远，但已经把记忆从外挂组件变成了可训练的模型能力。

[![11项记忆基准中，MemT 1.0与文本记忆、参数化记忆方法的表现对比](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image01-image01.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image01-image01.webp)

11项记忆基准中，MemT 1.0与文本记忆、参数化记忆方法的表现对比

## 01 / AI自我改进缺的不是一次聪明，而是把经验留下来

围绕递归自我改进（RSI）的讨论正在升温。系统要把一次有效改进变成下一次任务的起点，至少需要三类能力：**记忆、反馈，以及验证与更新机制**。记忆负责保留有效方法和失败教训，后两者判断哪些变化值得继续沿用。

传统方案通常给AI连接外部经验库，通过检索把历史文本、操作方法或证据重新放进上下文。MemT 1.0选择另一条路：让经验的编码、更新和读取进入模型内部，形成可训练、可持续演化的动态状态。

官方技术报告将这类系统称为**记忆原生模型**。这并不意味着外部数据库失去价值，而是把“如何使用经验”本身也变成架构与训练可以优化的对象。

## 02 / 两个版本：36B Nano与288B Flash

MemT 1.0首批提供两个型号。**MemT-1.0-Nano**总参数36B、激活3B，主干基于Qwen3.6-35B-A3B；**MemT-1.0-Flash**达到288B总参数、17B激活，基于进一步后训练的DeepSeek-V4-Flash。

两者都在选定的Transformer模块中加入与原注意力并行的记忆计算通路。经验先被编码为可更新的矩阵状态，当前查询通过专门分支读取记忆，读出结果再与注意力输出融合，影响后续生成。

[![MemT 1.0在Transformer注意力旁加入原生记忆计算通路](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image02-image02.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image02-image02.webp)

MemT 1.0在Transformer注意力旁加入原生记忆计算通路

[![外部文本记忆与记忆原生模型在表示和调用方式上的差异](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image03-image03.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image03-image03.webp)

外部文本记忆与记忆原生模型在表示和调用方式上的差异

**关键区别：**外部记忆保存可检查的文本或记录，记忆原生模型保存内部动态状态。前者更容易追溯、删除和恢复；后者把经验复用直接放进计算图，可能更省上下文，但需要额外解决解释性与治理问题。

## 03 / 代码Agent实测：经验改变的不只是答案，还有行动顺序

在SWE-bench Verified的Django任务中，Agent需要修复`parse_http_date`对两位数年份的解析逻辑。无经验设置在定位问题后很快改代码，后续才补复现和验证；文本经验与原生记忆两组则先构建复现测试，再动手修改。

MemT-1.0-Nano在首次修改后还重新检查边界条件、调整实现并追加验证。经验在这里不是一段被背诵的答案，而是改变了解题流程。

500项SWE-bench Verified任务、每项三次独立运行的结果显示，Nano关键断点平均成功率为**69.73%**，无经验基线为66.07%，文本经验组为69.13%；三次全部成功的任务比例分别为**62.80%**、54.00%和61.80%。SWE-bench Multilingual中，原生记忆、无经验和文本经验分别为63.56%、60.00%和63.00%。

[![SWE-bench Verified中无经验、文本经验和原生记忆的稳定性对比](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image04-image04.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image04-image04.webp)

SWE-bench Verified中无经验、文本经验和原生记忆的稳定性对比

**这些数据来自MemT 1.0官方技术报告，说明的是特定实验配置中的平均表现与重复执行稳定性，不代表所有代码仓库、Agent框架或线上任务都会获得相同提升。**

## 04 / 从迷宫到日程更新：模型要记住“什么已经改变”

迷宫实验把记忆效果变得很直观。第一轮里，普通Agent和MemT 1.0都会探索未知路线、走进死胡同；当有效路径与错误岔路被写入记忆后，第二轮的MemT 1.0能绕开已经验证过的死路，更快抵达终点。

[![迷宫实验演示原生记忆如何避免重复走入已知死胡同](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image05-image05.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image05-image05.webp)

迷宫实验演示原生记忆如何避免重复走入已知死胡同

另一项多轮信息更新任务更接近日常办公：展览先定在周六15点，随后正式改为周日16点，又有人提出尚未确认的周一方案。模型不仅要记住最新文本，还必须区分正式决定、原安排与未拍板建议。

[![多轮信息更新测试要求模型区分正式决定、原定安排和未确认建议](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image06-image06.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image06-image06.webp)

多轮信息更新测试要求模型区分正式决定、原定安排和未确认建议

在11项记忆基准中，Flash与Nano平均分分别为50.6和47.0，在参与比较的参数化记忆方法中位列前两名。不过官方也明确指出，成熟的文本记忆系统整体仍占优势，尤其是需要从很长历史中精确召回证据时。

[![MemT-1.0-Flash与Nano在11项记忆基准上的综合结果](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image07-image07.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image07-image07.webp)

MemT-1.0-Flash与Nano在11项记忆基准上的综合结果

[![原文用于转场的记忆话题配图](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image08-image08.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image08-image08.webp)

原文用于转场的记忆话题配图

## 05 / 架构拆解：主干、超记忆与局部记忆怎样配合

MemT 1.0把模型状态分成三个层次：

-   **主干权重：**承载通用能力，记忆训练阶段保持冻结。
-   **超记忆：**可训练的查询、键值投影，以及擦除、写入、遗忘和输出门控，决定“如何记”。
-   **局部记忆：**每条交互轨迹持续变化的矩阵状态，保存“这次记住了什么”。

写入时，隐藏状态被投影为记忆键值，门控共同调整已有矩阵关联；读取时，当前输入形成记忆查询，结果经归一化与输出门控后加入生成过程。Stable Gated DeltaNet-2负责逐Token更新，并在轮次之间保留状态。

[![逐Token记忆更新与整轮聚合更新的消融实验](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image09-image09.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image09-image09.webp)

逐Token记忆更新与整轮聚合更新的消融实验

消融实验中，把逐Token更新改成整轮聚合后，Nano的记忆基准平均分从约47.0降到41.0。这说明连续更新有助于及时处理遗忘和修正轮内关联。

## 06 / MoS与340亿Token训练：记忆容量也要扩展

当单个记忆模块容量不足时，MemT 1.0引入**Mixture-of-Storage（MoS）**。它把一个记忆模块扩展为多个记忆专家，所有专家参与计算，再由稠密路由权重决定各自贡献；这与MoE只激活少量专家的稀疏路由不同。

[![Mixture-of-Storage以多个记忆专家扩展原生记忆容量](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image10-image10.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image10-image10.webp)

Mixture-of-Storage以多个记忆专家扩展原生记忆容量

架构之外，团队还构建了340亿Token的记忆训练语料，其中继续预训练200亿Token、后训练140亿Token。继续预训练把长文本切成连续片段写入记忆，再让模型依赖记忆状态回答；后训练覆盖记忆原生语言建模、摘要与压缩等记忆使用任务，以及专门强化长程记忆的数据。

[![MemT 1.0使用继续预训练和后训练两阶段学习记忆读写](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image11-image11.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image11-image11.webp)

MemT 1.0使用继续预训练和后训练两阶段学习记忆读写

训练中，冻结主干充当能看到完整历史的教师模型，学生模型只能依赖自己的记忆状态，再通过离策略蒸馏对齐教师分布。换句话说，模型不仅在学知识，还在学“用有限状态保留哪些信息”。

## 07 / Memory Scaling与RSI：这是第一块拼图，不是终点

MemTensor把这条路线概括为**Memory Scaling**：在训练规模和推理计算之外，把记忆容量、表示方式、更新规则与读取策略作为新的能力扩展轴。同样的经历，换一种内部表示和读写方法，能否被更稳定地复用，成为新的研究问题。

[![Memory Scaling把记忆表示与读写机制视为新的能力扩展轴](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image12-image12.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image12-image12.webp)

Memory Scaling把记忆表示与读写机制视为新的能力扩展轴

这与RSI的关联在于，递归改进必须先有可积累的状态。没有记忆，反馈和验证得到的有效方法无法进入下一轮；但只有记忆也不够，系统仍需可靠的目标、反馈、验证、安全边界和更新机制。

[![记忆、反馈、验证与更新共同构成递归自我改进的基础环节](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image13-image13.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image13-image13.webp)

记忆、反馈、验证与更新共同构成递归自我改进的基础环节

**更准确的说法是：MemT 1.0为RSI提供了一个可实验的记忆组件，而不是已经实现递归自我改进。**当前结果仍集中在训练分布、受控基准和有限任务中，能否跨任务长期稳定积累，还需要更长时间验证。

## 08 / 企业价值与代价：省上下文之外，还要考虑治理

企业长期使用AI时，真正昂贵的不只是单次Token，而是重复交代规则、反复踩同类错误和无法继承已验证流程。MemT 1.0试图把程序性经验沉淀为可复用状态。

官方报告称，在相同128K历史下，Nano端到端推理速度约为完整上下文方案的**1.86倍**，每条轨迹的持久状态占用约为完整上下文KV Cache的**1/66**。多个查询可以复用已经构建的状态，从而分摊准备开销。

[![MemT-1.0-Nano在长历史下的延迟与首Token时间对比](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image14-image14.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/memt-1-native-memory-image14-image14.webp)

MemT-1.0-Nano在长历史下的延迟与首Token时间对比

但企业部署还要回答四个问题：记忆如何审计，错误经验如何删除，敏感数据如何隔离，模型升级后旧状态如何迁移。外部文本记忆在精确来源、版本控制与合规方面仍有优势，因此更现实的路线可能是**外部记录负责证据，原生记忆负责程序性经验**。

## 09 / 使用教程：如何开始测试MemT 1.0

1.  **确认用途与许可证：**项目原创代码采用PolyForm Noncommercial License 1.0.0，商业项目不要直接上线。
2.  **准备环境：**Linux、NVIDIA CUDA、Python 3.11以上；先从Nano版本开始评估。
3.  **安装服务端：**进入项目`inference`目录，安装官方SGLang服务依赖。
4.  **准备完整模型：**权重、配置与Tokenizer必须匹配，避免混用不同版本。
5.  **启动推理服务：**官方Nano示例使用两张GPU并在本机端口提供服务。
6.  **创建记忆会话：**通过`MemTSession`对需要沉淀的轮次启用记忆写入，并保存状态快照。
7.  **设计对照实验：**同一任务分别测试无记忆、文本记忆与原生记忆，比较成功率、延迟、显存、存储、错误恢复和可审计性。

## 10 / 做视频网分析：真正有价值的是减少返工，而不是让模型“像有灵魂”

MemT 1.0最值得关注的地方，不是给模型套上“永久记忆”或“自我进化”的宏大叙事，而是把经验复用变成了可测量的系统变量。对代码Agent、企业流程和长期助理而言，能否少走一次已知弯路，比记住更多聊天细节更有商业价值。

现阶段它更像一条架构研究路线：在部分任务里接近文本记忆的质量，同时显著压缩长历史状态；但原生状态难以直接解释、删除和迁移，也会带来新的治理成本。真正成熟的产品，很可能不会在“原生记忆”和“外部记忆”之间二选一，而是把两者分层组合。

**判断这条路线是否成立，可以盯住三个指标：**跨任务复用是否持续有效，错误经验能否被可靠纠正，单位任务的总成本是否随使用次数下降。只有这三项同时改善，Memory Scaling才会从论文曲线变成企业收益。

## 站内导航与延伸阅读

-   **MemT 1.0导航：**[https://www.zuoshipin.com/link/55609.html](https://www.zuoshipin.com/link/55609.html)
-   **DeepSeek V4-Flash本地运行：**[https://www.zuoshipin.com/article/23627](https://www.zuoshipin.com/article/23627)
-   **DeepSeek V4.1 Flash更新：**[https://www.zuoshipin.com/article/55247](https://www.zuoshipin.com/article/55247)
-   **ModularRSI自我改进Agent：**[https://www.zuoshipin.com/article/45587](https://www.zuoshipin.com/article/45587)
-   **OpenClaw 2.0记忆系统：**[https://www.zuoshipin.com/article/31567](https://www.zuoshipin.com/article/31567)
-   **更多AI资讯：**[https://www.zuoshipin.com/archive/75](https://www.zuoshipin.com/archive/75)

## 官方资料

-   [MemT 1.0官方代码仓库](https://github.com/MemTensor/MemT-1.0)
-   [MemT 1.0官方技术报告](https://arxiv.org/abs/2610.26825)
-   [MemTensor官方模型集合](https://huggingface.co/collections/MemTensor/memt-1)

**Tags:** AI记忆, Memory Scaling, MemT 1.0, MemTensor, RSI, 记忆原生模型

**Categories:** AI资讯

---