DeepSeek“开源周”第二天,介绍DeepEP——首个为混合专家模型(MoE)模型训练和推理设计的开源EP通信库,支持NVLink和RDMA确保高带宽通信;支持FP8降低计算成本;高吞吐量和低延迟内核分别优化训练和推理阶段;重叠机制提升GPU利用率。
DeepSeek“开源周”第二天,介绍DeepEP——首个为混合专家模型(MoE
春蕴评趣事
2025-02-25 11:34:53
0
阅读:2