尽管与OpenAI合作,据说微软正在研发5000亿参数的MAI-1AI模型

科技太和君 2024-08-09 02:15:59

据 The Information 报道,微软正在开发一种名为MAI-1的新型人工智能大模型,该模型有可能与谷歌、Anthropic以及OpenAI的最先进模型相媲美。这意味着微软自从向OpenAI投资超过100亿美元寻求合作以来,首次自行研发如此规模的内部人工智能模型。而此前,OpenAI的GPT-4不仅为ChatGPT提供支持,也为Microsoft Copilot提供服务。

据说内部被称为MAI-1的LLM预计最早将于本月首次亮相。MAI-1 的开发由前Google AI领导者Mustafa Suleyman负责,他最近担任AI初创公司Inflection的首席执行官,之后微软于今年3月以6.5 亿美元收购了这家公司的大部分员工和知识产权。尽管MAI-1可能建立在前Inflection员工带来的技术之上,但据报道认为,正如两位熟悉该项目的微软员工所证实的那样,它是一种全新LLM。

MAI-1拥有大约5000亿个参数,这将比微软之前的开源模型Phi-3要大得多,需要更多的算力支撑和投喂数据。该模型初步可定位为介于GPT-3和GPT-4之间,这样的配置在提供高响应精度的同时,其推理功率比OpenAI的旗舰LLM可低得多,且完全不同于Meta和 Mistral的700亿参数等较小模型。

微软可能会使用来自Inflection AI的训练数据和之外的其他内容资产来为MAI-1提供训练源,据说该模型的训练数据集还包括包括GPT-4生成的文本和网页内容。目前微软正在使用配备Nvidia算力卡的“大型服务器集群”来进行开发过程。

尽管目前尚不清楚MAI-1的具体用途,如果该模型表现前景良好,微软可能会在5月16日召开的 Build开发者大会上推出MAI-1。显而易见的是,最理想的用途取决于首次登台时的性能。

0 阅读:0