模型简介
ERNIE 5.5 Flash Base 是百度公开的文本稀疏 MoE 基座模型。模型卡给出的配置为 280B 总参数、每 token 激活 14B、43 层网络，训练上下文最长 128K，微调与推理支持扩展到 1M token。它发布的是预训练终点权重，不是已经完成对齐的聊天产品。
关键特点
- 面向效率：模型以激活计算、长上下文预填充和 KV Cache 为重点，采用 HCA 与 MLA-DSA 结合的注意力设计。
- 稀疏 MoE：配置包含 512 个路由专家、top-10 选择和 1 个共享专家，重点在容量与每 token 计算量之间取得平衡。
- 长文本能力：官方模型卡说明训练阶段达到 128K，上下文微调和推理配置可扩展到 1M token。
- 两种权重精度：官方提供 FP8 与 BF16 版本，适合按硬件、框架和精度需求选型。
适合的场景
它适合进行领域继续训练、指令微调、代码与长文本实验、推理框架适配，以及需要研究稀疏大模型效率的团队。对需要开箱即用对话体验的场景，应先确认是否已有对应后训练版本、推理模板和安全策略。
如何开始使用
- 在官方模型卡中阅读权重格式、许可证、配置和运行说明。
- 根据显存与软件栈在 FP8、BF16 两种权重之间选择，并准备兼容的 NVIDIA GPU 环境。
- 参考百度维护的 vLLM 插件仓库配置模型与推理参数，先完成短上下文加载测试。
- 再用业务样本测试长文本、吞吐、延迟、工具调用和异常输入，记录实际成本与稳定性。
- 若准备继续训练，单独核对数据授权、许可条款、训练目标和上线前的安全评估。
使用提醒
总参数、激活参数与 1M 上下文不等同于固定的硬件门槛或业务效果。实际部署会受权重精度、并行策略、KV Cache、框架版本、GPU 显存和输入长度影响。模型卡中的评测结果属于统一实验设置下的官方数据，建议在目标任务上复核。