当地时间 9 月 12 日，OpenAI 发布了全新模型 o1，这是该公司计划推出的一系列“推理”模型中的第一个，也是之前业内传闻已久的“Strawberry（草莓）”项目。
据介绍，o1 模型在很多任务中能够比人类更快地处理复杂查询，并展现出前所未有的超强推理能力。与此同时，OpenAI 还推出了一个较小且更经济实惠的版本 o1-mini。
（来源：OpenAI）
对 OpenAI 而言，o1 的发布代表着公司向实现类人人工智能（human-like AI）这一宏伟目标迈出的重要一步。
从实际应用角度来看，o1 在编写代码、推理和解决多步骤复杂问题方面的表现明显优于先前的模型。
然而，使用 o1 的成本较高，速度也相对较慢。OpenAI 将这次发布称为“preview（预览版）”，以强调该模型尚处于初期阶段。
从今日以后，ChatGPT Plus 和 Team 用户可以访问 o1-preview 和 o1-mini，而 Enterprise 和 Edu 用户将于下周初获得访问权限。
o1-preview 每周最多使用 30 条消息，而 o1-mini 则为 50 条。
据 OpenAI 信息，其计划向所有 ChatGPT 免费用户开放 o1-mini 的访问权限，但具体上线日期尚未确定。
对于开发者而言，符合 API tier 5 的开发者可以通过 API 使用这些模型，每分钟请求数限制为 20 条。
值得注意的是，开发者通过应用程序编程接口（API，Application Programming Interface）使用 o1 的成本相当高昂：o1-preview 的输入 token 价格为每百万个 15 美元，输出 token 价格为每百万个 60 美元。
相比之下，GPT-4o 的输入 token 价格为每百万个 5 美元，输出 token 价格为每百万个 15 美元。
o1 模型的训练方法与其前代产品有着根本性的不同。
OpenAI 的研究主管杰里·特沃雷克（Jerry Tworek）对媒体表示：“o1 使用了全新的优化算法进行训练，并采用了专门为其设计的新型训练数据集。”
与之前的 GPT 模型通过模仿训练数据中的模式不同，o1 采用了强化学习技术，通过奖励和惩罚来教系统解决问题。
此外，o1 还使用思维链来处理查询，这与人类通过逐步思考来解决问题的方式类似。
得益于这种新的训练方法，OpenAI 称，o1 模型的准确性得到了显著提升。
特沃雷克对媒体表示：“我们注意到该模型的幻觉现象减少了。”然而，他也坦言，这个问题仍然存在，“我们不能说已经彻底解决了幻觉问题”。
根据 OpenAI 的说法，o1 最显著的特点是其处理复杂问题（如编程和数学）的能力远超前代产品，同时还能解释其推理过程。
OpenAI 首席研究官鲍勃·麦格鲁（Bob McGrew）对媒体表示：“这个模型在解决大学预修课程数学考试方面的表现肯定比我强，而我在大学时的辅修专业就是数学。”
他还提到，OpenAI 对 o1 进行了国际数学奥林匹克竞赛资格考试的测试。结果显示，GPT-4o 只能正确解决 13% 的问题，而 o1 的得分率高达 83%。
在 Codeforces 在线编程竞赛中，o1 模型的表现超过了 89% 的参赛者。同时 OpenAI 声称，该模型已经在许多物理、化学和生物学等具有挑战性的基准任务上达到与博士生相当的水平。
尽管如此，o1 在许多领域的表现仍达不到 GPT-4o 的水平。例如，在处理有关世界的事实性知识方面。
此外，目前 o1 还缺乏浏览网页或处理文件和图像的能力。尽管存在这些局限，OpenAI 仍然认为 o1 代表了一种全新的能力类别（模型）。
o1 模型的界面设计旨在展示其推理步骤，模仿人类思考的过程。
在解答问题时，o1 会使用“我很好奇”“我正在思考”和“让我想想”等短语，营造出一种逐步思考的错觉。然而，OpenAI 强调，这并不意味着模型真的在思考，更不是人类。
图｜o1 模型会使用很多短语，表示自己正在“思考”，但实际上并没有（来源：OpenAI）
特沃雷克解释说：“这种界面设计是为了展示模型如何花费更多时间来处理和深入解决问题。”
麦格鲁补充道：“你会发现它在某些方面感觉很像外星人，但在其他方面又令人惊讶地像人类。”
o1 模型的发布标志着 OpenAI 在实现自主系统或智能代理方面迈出了重要一步。这些系统能够代表用户做出决策并采取行动。
对 AI 研究人员而言，实现推理能力是朝着人类级智能迈进的重要一步。
理论上，如果一个模型能够超越简单的模式识别，在医学、工程等领域有望实现突破性进展。
（来源：OpenAI）
在各项基准测试中，o1 相较于 GPT-4o 都表现出了显著的进步。
在 57 个大规模多任务语言理解（MMLU，Massive Multitask Language Understanding）子类别中，o1 在 54 个类别中超越了 GPT-4o。在一些需要大量推理的基准测试中，o1 的表现甚至可以与人类专家相媲美。
在数学能力方面，o1 的表现尤为出色。在美国数学邀请赛中，o1 平均解决了 74% 的问题，而 GPT-4o 仅能解决 12%。
通过使用共识和重新排序等技巧，o1 的得分率甚至可以达到 93%，这一成绩足以使其跻身全美前 500 名学生之列。
在 GPQA 钻石级测试（一项测试化学、物理和生物学专业知识的困难智力基准）中，o1 超越了人类专家的表现，成为首个在该基准测试中实现这一突破的模型。
然而，OpenAI 强调，“这并不意味着 o1 在所有方面都比博士更有能力”，只是在解决某些特定问题时表现更为出色。
在编程方面，o1 也展现出了惊人的能力。在 2024 年国际信息学奥林匹克中，基于 o1 初始化并进一步训练的模型获得了 213 分，排名位于第 49 百分位。
在模拟的 Codeforces 竞赛中，这个模型达到了 1807 的 Elo 评分，超过了 93% 的人类选手。
尽管 o1 在推理能力方面取得了巨大进步，但 OpenAI 承认它并不适用于所有场景。
在一项人类偏好评估中，o1 在数据分析、编程和数学等需要大量推理的领域明显优于 GPT-4o，但在某些自然语言处理任务中表现不佳。
就像其他所有大模型一样，o1 模型也会因为各种原因给出错误答案。在少数情况下，它会在明知答案有误的情况下，仍然将其返回给用户。
安全性是 OpenAI 一直关注的重点。通过将安全策略整合到推理模型的思维链中，OpenAI 发现这是一种有效的方法，可以稳健地传授人类价值观和原则。
o1 在关键的越狱评估和最严格的内部安全基准测试中，都取得了显著改进。
OpenAI 认为，o1 及其后续版本将为 AI 在科学、编码、数学等相关领域的应用开辟新的可能性。
然而，他们也意识到这项技术可能带来的潜在风险，因此决定不向用户直接展示原始的思维链，而是提供一个模型生成的思维链摘要。
总的来说，OpenAI o1 的发布代表了 AI 推理能力的重大进步。随着 OpenAI 继续改进这一模型，期待看到更多令人兴奋的应用和突破。
然而，实现技术发展、安全及伦理问题之间的平衡，仍然是 AI 领域所面临的长期挑战。
参考资料：
https://openai.com/index/learning-to-reason-with-llms/
https://www.theverge.com/2024/9/12/24242439/openai-o1-model-reasoning-strawberry-chatgpt
https://gizmodo.com/openai-releases-its-highly-anticipated-gpt-o1-model-2000498162
运营/排版：何晨龙
