这个LLM可以一次性处理400万个token! 从这个角度来看,400万个代

JavaEdge聊AIss 2025-02-02 05:04:38

这个LLM可以一次性处理400万个token! 从这个角度来看,400 万个代币相当于将所有 7 本《哈利波特》书籍合并 3 次(21 本书📚 ) 推出 MiniMax-01,这是一套突破性的开源、文本和多模式模型套件,旨在突破语言和视觉理解的极限。 我们先来谈谈MiniMax-Text-01: ⚡ 456B 参数 🔥训练最多 1M 个 token,推断最多 4M 个 token 🔀混合注意力(Lightning + Softmax + MoE) ⛓️高级并行策略(LASP+、varlen ring) 但这还不是全部: 了解 MiniMax-VL-01 多式联运: 🖼️视觉+语言的ViT-MLP-LLM框架 ✂️动态分辨率(336×336 至 2016×2016) 🏆最先进的多模态性能 ⭐ 303M 参数 Vision Transformergpt4 软件开发 计算机 ai

0 阅读:1
JavaEdge聊AIss

JavaEdge聊AIss

感谢大家的关注