超长上下文窗口的天花板来了！
刚刚宣布新一轮3.2亿美元融资的AI编码初创新星Magic刚刚放出了一个重磅炸弹：
推出首个1亿上下文窗口的模型 LTM-2-mini！
想一下，1亿上下文窗口，相当于你可以在prompt中直接丢给大模型1000万行代码或者750本英文小说，然后告诉大模型一次性消化这些内容，并从这些内容中得到你想要的答案，而不用再需要来一次微调、SFT，就可以极低成本的让大模型秒变成一个定制版的。
AI辅助编程的新角逐点：超长上下文窗口
AI辅助编程赛道非常卷，巨头投入的产品也不少，包括微软很早就投入的GitHub Copilot。但 Magic 的创新之一在于其模型的超长上下文窗口。
Magic 声称其最新型号 LTM-2-mini 拥有 1 亿个 token 上下文窗口。（token 是原始数据的细分位，例如单词“fantastic”中的音节“fan”、“tas”和“tic”。）1 亿个 token 相当于大约 1000 万行代码或 750 本小说。它是迄今为止所有商业型号中最大的上下文窗口；第二大是Google 的 Gemini 旗舰型号，拥有 200 万个 token。
PS：国内上一次掀起长文本窗口热潮的还是Kimi，可以处理200万字上下文。
Magic 将自己模型的架构称为“长期记忆网络”（Long-term Memory Network），简称“LTM”。
据本周四Magic官网博客中指出：目前AI模型有两种学习知识的来源：训练和推理过程中的上下文。但上下文因为太短了，所以训练占据主导地位。但超长文本可能会改变这一现状。
“我们的LTM模型不依赖于模糊记忆，而是经过训练，可以对推理过程中给予的多达1亿个上下文标记进行推理。……可以想象，如果模型中包含了代码、文档和库（公共互联网上不存在的内容），代码合成的质量将会有多么好。”
此外，Magic还披露了对于超长上下文方面的进展，通过思维链式哈希训练，LTM-2-mini的序列维度算法比Llama3.1 405B中的注意力机制还要便宜，是后者的1/1000。而在内存需要方面，LTM只需要每个用户单个HB100的一小部分。
Magic 表示，得益于其长远背景，LTM-2-mini 能够为一个开源项目实现一个密码强度计，并几乎自主地使用自定义 UI 框架创建一个计算器。
可以仅通过代码库和聊天，在无需打开文件、编辑记录或其他指示符的情况下就能实现自定义上下文框架
该公司目前正在训练该模型的更大版本。
Magic的野心：自动编程仅是开始，AGI才是终极
Magic 的团队规模很小，只有二十几个人，而且没有什么收入，但Magic的野心很足，商业版图中，自动编程也仅是刚刚开始。
当然，首选编程赛道是一个明智的选择。据 Polaris Research 估计，到 2032 年，Magic 瞄准的市场价值可能达到 271.7 亿美元，投资者认为这是一项值得的、而且可能非常有利可图的尝试。
尽管人们对人工智能辅助编码工具的安全性、版权和可靠性存在担忧，但开发人员对它们表现出了热情， GitHub 最新民意调查中的绝大多数受访者表示，他们已经以某种形式采用了人工智能工具。微软 4 月份报告称，Copilot 拥有 超过 130 万付费用户和超过 50,000 个商业客户。
然而，Magic 的野心远不止于实现常规软件开发任务的自动化。该公司在网站上谈到了通往 AGI 的道路——即比人类更可靠地解决对齐等问题的人工智能。
他们不只是说说而已，而是有了自己坚信的实现路径，他们希望结合前沿的预训练、特定领域的强化学习、超长上下文、测试时间计算这些技术来实现这一目标。
为了实现此类人工智能，总部位于旧金山的 Magic 最近聘请了 OpenAI 超级计算团队前负责人 Ben Chess，并计划扩大其网络安全、工程、研究和系统工程团队。
狂揽近5亿美金
Magic是一家人工智能初创公司，致力于创建模型来生成代码并自动执行一系列软件开发任务，该公司已从包括前谷歌首席执行官Eric Schmidt在内的投资者那里顺利筹集了巨额资金。
周四，Magic在一篇博客文章中表示，它完成了一轮 3.2 亿美元的融资，投资者包括施密特、Alphabet 的 CapitalG、Atlassian、Elad Gil、Jane Street、Nat Friedman 和 Daniel Gross、Sequoia 等。这笔融资使该公司的总融资额达到近 5 亿美元（4.65 亿美元），使其跻身资金雄厚的 AI 编码初创公司行列，其成员包括Codeium、Cognition、Poolside、Anysphere和Augment。（有趣的是，施密特也支持 Augment。）
7 月份，路透社报道称，Magic 正寻求以 15 亿美元的估值筹集超过 2 亿美元。显然，这轮融资超出了预期，尽管这家初创公司目前的估值无法确定；Magic 在 2 月份的估值为 5 亿美元。
牵手巨头，与谷歌、英伟达进行合作
Magic 本周四还宣布与 Google Cloud合作，在 Google Cloud Platform 上构建两台“超级计算机”。Magic-G4 将由 Nvidia H100 GPU 组成，而 Magic G5 将使用 Nvidia 计划于明年上线的下一代 Blackwell 芯片 Nvidia GB200。
Magic 表示，其目标是将后者集群扩展到“数万个” GPU，并且这些集群一起将能够实现 160 百亿亿次浮点运算，其中 1 百亿亿次浮点运算相当于每秒一千万亿次计算机运算。
Magic 联合创始人兼首席执行官 Eric Steinberger 在一份声明中表示：“我们很高兴与谷歌和 Nvidia 合作，在谷歌云上打造我们的下一代人工智能超级计算机。Nvidia 的 [Blackwell] 系统将大大提高我们模型的推理和训练效率，而谷歌云为我们提供了最快的扩展时间表和丰富的云服务生态系统。”
创始人：从高中开始的极客生涯
Eric Steinberger和Sebastian De Ro于 2022 年共同创立了 Magic。在此前的采访中，Steinberger告诉 TechCrunch，他从小就被人工智能的潜力所启发；高中时，他和朋友们把学校的电脑连接起来，进行机器学习算法训练。
这段经历为Steinberger进入剑桥大学攻读计算机科学学士学位埋下了伏笔（一年后他退学了），后来他进入 Meta 担任人工智能研究员。De Ro来自德国业务流程管理公司 FireStart，在那里他一路晋升为首席技术官。Steinberger和De Ro在前者共同创建的环境志愿者组织 ClimateScience.org 相识，一拍即合创办了Magic。
Magic 开发了AI驱动的软件开发工具，旨在帮助软件工程师编写、审查、调试和规划代码更改。这些工具的运作方式类似于自动配对程序员，试图理解并不断学习各种编码项目的背景。
目前这些工具并不收费，但使用需要填写waitlist：
https://magic.dev/waitlist
写在最后：“小团队，高融资”屡见不鲜
AI时代的创业，似乎有一个“小团队，高融资”的现象：一个几人、十几人的小团队就可以融到上亿美元的融资（OpenAI掌舵人Altman的观点）。
同样Magic也是如此，目前该公司一共23名员工。不过硬实力也没得说：Infra方面，非常豪横，8000台H100；Magic团队此轮更是拿到了3.2亿美融资的融资，谷歌和和英伟达的支持；人才密度上，前OpenAI成员的加入更是如虎添翼。
回到AI产品领域，我们看到大模型的研究前沿，正在悄然发生变化，之前发展的重点是在训练层面的参数规模、数据多模态，而现在我们看到的是推理能力的进化：超长文本、推理时间计算、强化学习、对齐等。
可以看到，AI辅助编程赛道的角逐，已经成为了这波AI创业浪潮中的一个风向标。
