为此， 中国移动九天团队 创新性地提出了 Hybrid MoE 架构 —— MultiPL-MoE ，该方案的核心在于耦合两个层次的专家选择机制进行优化：在 Token 层级，采用配备共享专家及新颖门控权重归一化方法的稀疏 ...