模型架构

模型架构涵盖Transformer、注意力机制、残差连接、稀疏模型、MoE与长上下文等影响模型能力和推理成本的设计。