MoE 模型

MoE 混合专家模型通过按 token 选择部分专家计算，在模型容量、计算量和推理成本之间寻求平衡。