蒸馏模型提炼OpenAI研究员称:Deepseek发现了他们在实现o1的过

中原营长 2025-01-29 21:33:04

蒸馏模型提炼 OpenAI研究员称:Deepseek发现了他们在实现 o1 的过程中发现的一些核心思想。

但外界对其意义的反应可能过于夸张,特别是在成本方面。

利用“预训练”和“推理”这两种技术范式,可以在不同方向上优化模型能力,同时降低开发和运行成本。

蒸馏技术的进步表明,降低成本(如减少计算资源的消耗)和提升能力(模型性能更好)是可以分开独立实现的。

0 阅读:58
中原营长

中原营长

感谢大家的关注