【Savanna:为卷积多混合模型(StripedHyena2)预训练提供强大

爱生活爱珂珂 2025-02-21 14:21:33

【Savanna:为卷积多混合模型(StripedHyena 2)预训练提供强大基础设施。亮点:1. 支持大规模分布式训练,优化千卡集群性能;2. 提供多种优化技术,如a2a和p2p上下文并行化;3. 已成功训练多个模型,如StripedHyena 7B和Evo 2 40B,覆盖超9T tokens】

'Savanna: Pretraining infrastructure for research and application of convolutional multi-hybrid models (StripedHyena 2).'

GitHub: github.com/Zymrael/savanna

0 阅读:0
爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注