DeepSeek创始人梁文锋的30条思考:1.我们做大模型,跟量化和金融都没有直

杰华评科技 2025-02-09 16:30:20

DeepSeek创始人梁文锋的30条思考:

1.我们做大模型,跟量化和金融都没有直接关系。我们要做的是通用人工智能,也就是AGI。

2.语言大模型是通往AGI的必经之路,并且初步具备了AGI的特征,所以我们从这里开始。

3.我们不会过早设计基于模型的一些应用,会专注在大模型上。从长期看,大模型应用门槛会越来越低,初创公司在未来20年任何时候下场,也都有机会。我们的目标很明确,就是不做垂类和应用,而是做研究,做探索。

4.我们理解人类智能的本质就是语言,人的思维就是一个语言的过程。你以为你在思考,其实可能是你在脑子里编织语言。这意味着,在语言大模型上可能诞生出类人的人工智能(AGI)。

5.只做复刻的话,可以在公开论文或开源代码基础上,只需训练很少次数,甚至只需finetune(微调)一下,成本很低。而做研究,要做各种实验和对比,需要更多算力,对人员要求也更高,所以成本更高。

6.我们希望更多人,哪怕一个小App都可以低成本去用上大模型,而不是技术只掌握在一部分人和公司手中,形成垄断。大厂的模型,可能会和他们的平台或生态捆绑,而我们是完全自由的。

7.从商业角度来讲,基础研究是投入回报比很低的。我们比较确定的是,既然我们想做这个事,又有这个能力,这个时间点上,我们就是最合适人选之一。

8.从最早的1张卡,到2015年的100张卡、2019年的1000张卡,再到一万张,这个过程是逐步发生的。很多人会以为这里边有一个不为人知的商业逻辑,但其实,主要是好奇心驱动,对AI能力边界的好奇。

9.对很多行外人来说,ChatGPT这波浪潮冲击特别大;但对行内人来说,2012年AlexNet带来的冲击已经引领一个新的时代。AlexNet的错误率远低于当时其他模型,复苏了沉睡几十年的神经网络研究。虽然具体技术方向一直在变,但模型、数据和算力这三者的组合是不变的,特别是当2020年OpenAI发布GPT3后,方向很清楚,需要大量算力。那之后,我们有意识地去部署尽可能多的算力。

10.一件激动人心的事,不能单纯用钱衡量。就像家里买钢琴,一来买得起,二来是因为有一群急于在上面弹奏乐曲的人。

11.人工成本是对未来的投资,是公司最大的资产。我们选的人相对朴实一点,有好奇心,来我们这里有机会去做研究。大厂很难单纯去做研究,做训练,它更多会是业务需求驱动。如果不能很快应用,大厂不一定能持续坚持,因为它更需要看到结果。

12.我们招人有条原则是,看能力,而不是看经验。如果追求短期目标,找现成有经验的人是对的。但如果看长远,经验就没那么重要,基础能力、创造性与热爱等更重要。

13.我们的核心技术岗位,基本以应届和毕业一两年的人为主。做一件事,有经验的人会不假思索告诉你,应该这样做,但没有经验的人,会反复摸索、很认真去想应该怎么做,然后找到一个符合当前实际情况的解决办法。

14.我们招人的条件是热爱,这些人的热情通常会表现出来,因为他真的很想做这件事,所以这些人往往同时也在找你。

15.我们的考核标准和一般公司不太一样。我们没有KPI,也没有所谓的任务。

16.创新需要尽可能少的干预和管理,让每个人有自由发挥的空间和试错机会。创新往往都是自己产生的,不是刻意安排的,更不是教出来的。我们交给员工重要的事,并且不干预他。让他自己想办法,自己发挥。

17.招人时确保价值观一致,然后通过企业文化来确保步调一致。当然,我们并没有一个成文的企业文化,因为所有成文的东西,又会阻碍创新。更多时候,是管理者的以身示范,遇到一件事,你如何做决策,会成为一种准则。

18.按照教科书的方法论来推导创业公司,在当下,他们做的事,都是活不下来的。但市场是变化的,真正的决定力量往往不是一些现成的规则和条件,而是一种适应和调整变化的能力。很多大公司的组织结构已经不能快速响应和快速做事,而且他们很容易让之前的经验和惯性成为束缚,而这波AI新浪潮之下,一定会有一批新公司诞生。

19.最让我们兴奋的是去搞清我们的猜想是不是事实,如果是对的,就会很兴奋了。

20.信仰者会之前就在这里,之后也在这里。他们更会去批量买卡,或者跟云厂商签长协议,而不是短期去租。

21.创新是昂贵且低效的,有时候伴随着浪费。所以经济发展到一定程度之后,才能够出现创新。很穷的时候,或者不是创新驱动的行业,成本和效率非常关键。OpenAI也是烧了很多钱才出来的。

22.这个世界存在很多无法用逻辑解释的事,就像很多程序员,也是开源社区的疯狂贡献者,一天很累了,还要去贡献代码。类似你徒步50公里,整个身体是瘫掉的,但精神很满足。

23.不是所有人都能疯狂一辈子,但大部分人,在他年轻的那些年,可以完全没有功利目的,投入地去做一件事。

24.我们的大模型服务降价只是按照自己的步调来做事,然后核算成本定价。我们的原则是不贴钱,也不赚取暴利,在成本之上稍微有点利润。

25.抢用户并不是我们的主要目的。我们降价一方面是因为我们在探索下一代模型的结构中,成本先降下来了,另一方面也觉得无论API,还是AI,都应该是普惠的、人人可以用得起的东西。

26.如果目标是做应用,那沿用Llama结构,短平快上产品也是合理选择。但我们的目的地是AGI,这意味着我们需要研究新的模型结构,在有限资源下,实现更强的模型能力。这是scale up到更大模型所需要做的基础研究之一。除了模型结构,我们还做了大量其他的研究,包括怎么构造数据,如何让模型更像人类等,这都体现在我们发布的模型里。

27.最重要的是参与到全球创新的浪潮里去。过去很多年,中国公司习惯了别人做技术创新,我们拿过来做应用变现,但这并非是一种理所当然。这一波浪潮里,我们的出发点,就不是趁机赚一笔,而是走到技术的前沿,去推动整个生态发展。

28.随着经济发展,中国也要逐步成为贡献者,而不是一直搭便车。过去三十多年IT浪潮里,我们基本没有参与到真正的技术创新里。我们已经习惯摩尔定律从天而降,躺在家里18个月就会出来更好的硬件和软件。但其实,这是西方主导的技术社区一代代孜孜不倦创造出来的,只因为之前我们没有参与这个过程,以至于忽视了它的存在。

29.大部分中国公司习惯follow,而不是创新。

30.创新的成本肯定不低,过去那种拿来主义的惯例和过去的国情有关。但现在,无论中国的经济体量,还是字节、腾讯这些大厂的利润,放在全球都不低。我们创新缺的不是资本,而是缺乏信心以及不知道怎么组织高密度的人才实现有效的创新。

0 阅读:49
杰华评科技

杰华评科技

感谢大家的关注