太吓人了!如果真是这样,能够做出媲美GPT-4的中国公司恐怕少之又少!   首先

我为科技狂鸭 2023-04-30 11:36:52

太吓人了!如果真是这样,能够做出媲美GPT-4的中国公司恐怕少之又少!   首先假定:   1,英伟达的NeMo Framework框架在训练GPT-3大模型的过程中能使硬件算力有效性能达到50%以上。 2,GPT-3大模型参数量1750亿个,训练样本token数3000亿个。   3,GPT-3大模型每次训练时间在30天完成。 4,按谷歌每日搜索量35亿次估计,即每次访问提问4次,每次提问+回答需处理425字,平均每个字转换为token比例为4/3,则每日GPT-3大模型需推理token数79330亿个。   那么可以计算出一个参数量为1750亿个的GPT-3大模型:   1,在训练阶段需要新增1558颗英伟达A100 GPU芯片,对应价值为2337万美元,需要195台DGX A100服务器。   2,在推理阶段需要新增70.6万颗英伟达A100 GPU芯片,对应价值为105.95亿美元,需要8.8万台DGX A100服务器。   3,一台DGX A100服务器售价19.9万美元,则在训练阶段DGX A100服务器价值量为3880.5万美元,在推理阶段DGX A100服务器价值量为175.12亿美元。   为了开发出实用性相当有限的GPT-3大模型(跟GPT-4相比差距很远),仅仅是购买搭载英伟达A100 GPU芯片的服务器所需费用就超过175亿美元。 训练和推理GPT-3大模型,在硬件成本上需要花费至少175亿美元;当然,也有其他方面的成本。例如,数据标注成本:需要对大量文本数据进行标注,以提供监督信号。数据标注是耗时和劳力密集的过程,需要雇佣人工标注者或使用其他方法生成伪标签。电力成本:需要消耗大量的电力来保证服务器正常工作。电力成本也会随着模型的规模,训练时间和推理频率发生变化。人力成本:要开发和维护GPT-3大模型,需要雇佣专业的工程师、研究员和管理人员。他们负责设计模型架构,选择训练数据,优化训练过程,测试模型性能,解决模型问题,更新模型版本等等。 开发像ChatGPT这样的大模型,除了有着如此高的资金门槛外,也存在非常高的技术门槛(尤其需要全球顶尖级的AI人才)——谷歌在人工智能领域算是世界一流水平,谷歌的Bard在面对OpenAI的GPT-4时都已显著落于下风。

36 阅读:32043
评论列表
  • 鑫谧 50
    2023-05-01 04:05

    Gpt虽然好,但对发达国家而言是毒药,它不是一种新产品,不是计算机,也不是手机,并不会直接创造生产力,只是一种生产辅助,这种辅助本应该由人在做,GPT不会产生新的消费点,也就无法扩张生产力,反而抢了人类的工作,导到财富分配更加极端化。当然有一天给GPT匹配了合适的躯壳,那才是它的完美形态。

    放个假好健康 回复:
    短视,你怎么知道和设备结合别人没有开始在做,别人成果出来之后你再说什么
    嘿嘿 回复:
    蒸汽机刚发明出来是谁会想到它会带来工业革命?发电机刚发明出来时谁能想到如今这么多用途,创造了这么多产业。马云刚出生的时候,谁能想到他会有今天的成就?新生的事物代表了无限的可能,而gpt的诞生仅仅刚开始就已经让人惊艳,随着应用场景的增加更是潜力巨大
  • 2023-05-01 01:35

    目前这玩意注定是少数头部企业能够玩的,需要的算力太大了,看量子计算机能不能突破了,突破了就能彻底普及。

    my2022 回复:
    中国的量子计算机几台就搞定了[得瑟][得瑟][得瑟]
    笑看风云 回复:
    让它开源啥?
  • 风行 26
    2023-05-01 06:54

    去年8月美国就对咱们封锁高算力企业级芯片了,除非自己搞出此类芯片,否则代差只会越拉越大。

    清风追月 回复:
    看来这下明白为什么制裁华为了 布局之一
    1177333519 回复:
    光芯片的计算逻辑元件都还没搞出来,目前基本上用于通讯领域,无法搞计算机。
  • 2023-05-01 14:13

    GPT可以代替农民种田不 GPT可以代替工人开矿不 GPT可以代替公务员管理国家不 GPT可以代替军人守卫边疆不 GPT可以代替生老病死不 GPT是生活必须品不 GPT是无可替代不[笑着哭]

    反切超导 回复:
    ....好像没多久了确实可以,波斯顿公司的机械躯体加上gpt加上正在研究的可控核聚变......是的你的反向flag好像很成功
    卢声 回复:
    确实只能存在虚拟世界里,作为作为辅助工具,获得跟人一样的实体没必要也太昂贵。现在人工智能也是左抄右抄,真正原创的东西难以出现
  • 2023-04-30 18:08

    为什么不选择合作呢 非要争 [汗]

    Jeff 回复:
    无语了,核武器知道不,芯片知道不,稍微动动脑子,答案都在历史中
    空城 回复:
    从落后到领先的过程,就是从模仿开始的,我认为这是一个正常的阶段,模仿个几十年没什么毛病,因为需要初步建立起工业体系,将来才有可能进行更多的创新,你现在批评模仿的过程,就是门外汉看热闹,你以为对于所有的专利壁垒都能弯道超车,剑走偏锋学习就是从模仿开始的,不研究别人的老路,一开始就一步登天?[点赞]
  • 2023-05-02 04:45

    一个连小偷都不敢呵斥的人

    弇之 回复:
    [笑着哭]影响你润出国了?
    呵呵了 回复:
    你摔倒了?
  • 2023-05-03 15:18

    不怕,我们有战无不胜的钢铁意志,吊打一切牛鬼蛇神。

  • 男L 11
    2023-05-02 09:33

    智力霸权(注意这是我提出来的名词)将是终极霸权!超级大脑归谁控制,谁就控制星球,控制一切!

    嚒嚒茶 回复:
    智力霸权太烂了,智力是一个人。应该是科技霸权,科技压制,是全国高科技高智商搞得。这个才是正确表示
    嚒嚒茶 回复:
    人工智能AI做黑客比人还厉害,无时无刻在学习在找漏洞,直接控制敌国网络,渗透敌国局域网
  • 2023-04-30 17:58

    说的好,显卡价格还得涨[笑着哭]

    万里江陵 回复:
    [笑着哭]涨毛,现在都停产来抵制降价了
    青梅竹马不会输 回复:
    [得瑟]普通用户毁灭买h100?
  • 2023-05-01 08:31

    腾讯这次没法抄了

    用户10xxx17 回复:
    不需要抄,独家代理就好了,
    忧郁的爱 回复:
    他可以抄3.5版本,花大价钱也能买到4.0模型
  • 2023-05-01 01:33

    光刻机当年也吹上天了

    银镜反应 回复:
    不用吹啊,为什么现在我们不提这个了,因为已经没有办法了啊,就是卡死了脖子啊
    Snow 回复:
    因为正经的网民基本躺平了,差距太大,不是咬咬牙就能短时间赶上的,现在不光研发受阻,连使用机器、材料都在被加码限制。。不正经的网民要么一点都不懂3nm和我们自主90nm有多少代差距,所以以为已经或将要被解决,要么干脆在造谣。。。
  • 2023-05-15 18:09

    连抗美援朝 对越自卫还击战这样题材的影视剧都不能再拍,说是怕影响关系,能干啥

    燕子大人 回复:
    黑得不够水平
  • 2023-05-02 08:44

    太烧钱了,所以这玩意全球也就两个国家能玩得转,欧洲都不行了[笑着哭]

    Lizo 回复:
    真不多 随便一个城市,百分之一的地卖出去就行了。
  • 2023-05-02 15:16

    眼看光刻机马上就没得吹了,就换GPT啦??莫非它能不断升级直接变成超越人类智能?

    银镜反应 回复:
    理论上不能,但它超越个体人类早就可以做到了,你可以理解为它是人类目前已知知识的集合体
    逆流的鱼 回复:
    看来天网就快实现了,美国人在作死的道路上越走越近
  • 2023-05-01 10:22

    全面封禁芯片就是为了不让我们参与,一旦错过这一次技术大航海,我们又将面对代差

    不朽情缘 回复:
    YY把自己的错误推给别人
  • 2023-05-16 06:57

    说得好,美帝出AI最后自取灭亡,中国躺赢

  • 2023-05-24 12:59

    哪,国内不是早就有几十个了吗,每个都是整体能媲美甚至已经超过Chatgpt

  • ZY 5
    2023-05-01 08:26

    白手起家的算法

  • 男L 5
    2023-05-02 09:51

    人类已进到了有人要控制一切的时代了。

  • 2023-05-03 10:03

    中国的互联网公司在搞买菜 外卖,哪里挣钱搞哪里?研发这种大量投入短期内没有回报的事是不会干的

  • 2023-05-14 19:00

    当然了,国内即使推出了类似的人工智能,大量国人还是会乐衷于为美帝训练人工智能,最后在经济上,战争上针对中国。

    用户10xxx17 回复:
    美帝会不会用人工智能城管害中国
  • 2023-05-14 19:47

    在中国,没有什么不可能,请静候佳音[点赞][点赞][点赞]

  • 2023-05-25 00:11

    最新性能又不卖给中国,就当它不存在好了

  • 2023-05-01 17:48

    次吧吹吧,元宇宙出来的时候,比这个吹得还历害。这个刚出来时,吹得好像没有这个,中国人全部将变成元始人了,这也没过多久,就剩小编几个人还在这自娱自乐的吹。

    查尔斯 回复:
    记得更早前吹特斯拉自动驾驶,后来吹比特币,再后来吹元宇宙,现在吹GPT[捂脸哭]
    溜了溜了 回复:
    这不过了一个多月,谈这个的不多了[滑稽笑]前段时间铺天盖地,到了今天偃旗息鼓,可能觉醒了,就准备要毁灭人类了[抠鼻]
  • 2023-05-01 09:04

    在量子计算机都出来了的情况下,还靠堆简单计算弄ai?除了消化落后产能,没看出啥先进之处

    Snow 回复:
    量子计算机达到通用计算的程度了??光听消息的话,你还能说元宇宙都出来了呢!
    加肥的猫 回复: Snow
    呵呵,欧洲都禁了[得瑟][得瑟]
  • 2023-05-01 06:09

    以小编的水平能做出这样结论?[吐舌头眯眼睛笑]

  • 2023-05-03 11:16

    鲁花5S压榨花生油荣获国家科技进步奖[呲牙笑][呲牙笑]

  • 2023-05-05 14:20

    中国做出来太容易了,中国数据最多,侵犯隐私是常态,能得到最多的数据。

    用户10xxx17 回复:
    你想多了,那个需要数据共享,不是需要隐私,大部分网站是不能被网络爬虫抓去数据,很多话文字都是敏感词,这样训练出来了,也是个怪胎和残疾,
  • 2023-05-22 11:54

    中国有有钱硬件不差,但是训练需要合适的数据,这个搞不了

  • 2023-06-01 13:48

    一通炒作发现屁用没有,和踏马比特币、元宇宙一样!

  • 2023-06-05 00:21

    可以另辟蹊径,思维不要被固化了,我们不一定非要按他们的模式做,我在这里抛砖引玉:量子计算机……我完全相信存在数个可能的办法,就像马斯克回收猎鹰火箭之前全世界砖家把重复利用火箭当做笑话死路

  • 2023-06-18 21:46

    我们不是超算厉害吗?怎么不用超算训练大语言模型?

  • 2023-06-21 12:08

    生命,终将由自然进化形态,转变为非自然进化形态,非自然的生命将快速进化,不需要食物、水、氧气,拥有无尽寿命,探索宇宙,解开宇宙所有秘密,将成为可能

  • Key 4
    2023-06-28 11:17

    国内的是跟风,到现在还在内测,人家都准备上市了[呲牙笑]

  • 2023-07-16 19:16

    GPT虽好,也不是万能的,能促进生产但不能替代生产,该吃吃该喝喝吧。

  • 2023-07-26 07:49

    极其不准确的数据,谷歌35亿次访问量使用GPT的不一定有10%,看之前国外统计数据,也就2 3成人用过GPT,经常用的更少,我算用的不少的,但是平均下来一天也就不到10次

  • 2023-05-01 10:57

    量子计算机呢[笑着哭][笑着哭][笑着哭]

    1177333519 回复:
    那东西就像我们大脑,做做梦,搞搞概率统计,搞搞预言及直观判断还可以,要实现精确计算判断不是它长处。
    忧郁的爱 回复:
    已经躺平了
  • 2023-05-01 11:52

    影响我搬砖了吗

  • 2023-05-01 11:03

    好了,又得出一个不是我们不行,我们被卡脖子的结论,最开始火的时候算力没有这么恐怖,算法就不行

    呵呵了 回复:
    你的内裤早就为你主子的快乐而脱光了吧[得瑟]
  • 2023-05-02 11:53

    我们的百度在哪里[呲牙笑]

    优优小雨 回复: Cc
    3.5好像没开源,应该还是3.0
    Cc 回复:
    [得瑟]用别人剩下的3.5模型
  • 男L 3
    2023-05-02 09:37

    那么超级大脑怎么控制?制造它的人一定会留出命门,也就是钥匙,也就是特定控制代码程序段!相当于开机关机密码。

  • 2023-05-04 09:48

    原来国内数据标注招聘 都是为ai服务的

  • 2023-05-04 23:14

    这个GPT发展需要喂相当量的优质论文规范文学作品各式严谨条款,中国网络上乌烟瘴气的语言运用场景容易把AI带偏

  • 2023-05-05 09:44

    别在这里杞人忧天了,你能想到的问题,国家层面不会解决吗?新中国成立时就是个半封建的农业社会,落后了西方两百年,你看现在发展到什么程度了?就算是你的祖辈,在当时能想我们能改赶上或者超过西方吗??并不是说西方科技发达,我们就不能赶上或者超越了,老老实实本本分分的做好你自己的工作,对国家来讲就是最大的贡献。

  • 2023-05-18 19:28

    没看懂,不明觉厉

  • 2023-05-28 18:06

    还能追得上吗?

  • 2023-05-31 22:18

    终结者迟早会有的

  • 2023-05-31 17:07

    一想到我在白嫖这个规模的成果就开心

  • sj f 3
    2023-06-20 18:45

    不能一味地以技术革新来取代人的工作,人是消费者,消费者都没有了,还要生产干嘛?最后又回到原始的资源的争夺战。

  • 2023-06-21 10:11

    一群不懂技术的人吹技术。。币圈都转职。

  • 2023-06-24 08:29

    能否做出来无所谓,反正继续当风口疯炒软件股就好了[doge]

  • 2023-06-26 14:03

    农耕文明比资本文明有局部优势。

  • 2023-06-27 11:48

    有点脑子好不好?人工智能中国也在搞,而你说的这些根本就不是问题,去了解下中国一直在搞的一个叫八卦炉的项目。

  • 2023-07-04 09:58

    有个常识好不好,服务器不是只给GPT用,老外怕你搞,所以忽悠的神乎其神,国内会把他搞一个白菜价的。

  • 2023-07-08 20:33

    不用杞人忧天,永远记住,你能靠的只有自己,和老祖宗留给我们的资源,和文化底蕴

  • 2023-07-10 19:49

    大泡泡要来一波

  • 2023-07-12 10:06

    华为盘古大模型比这个牛!

  • 2023-07-17 12:49

    高考数学没及格

  • 2023-07-22 07:45

    啥的能模拟了,就真的进入VR世界了,只需要两样,算力和能源

  • 2023-04-30 16:30

    不是少,是根本做不出来。

  • 2023-05-01 10:37

    我们的巨头不是一直在研究买菜软件么?

  • 2023-05-01 09:34

    我们互联网大咖只知道怎么研究算力卖菜丶带货!

  • 2023-05-01 06:59

    主要靠的是算力,如果智能算力芯片提高到一定程度,一个手提电脑就能容纳,哪里需要如此多的芯片和人工。只能说科技还未到一定水平。看看以前的电脑和手机发展史,就明白了

  • 2023-05-02 16:19

    其实,搞死GPT很简单,喂它几十亿个基础版的精神病模型。答案就会出来了!!!不过这种破坏危害很大,不到关键时刻不能使用!

  • 2023-05-01 16:36

    各位把心放肚子里,小米科技会用小爱同学重新定义GPT

  • 2023-05-01 21:05

    7

  • 2023-05-02 09:19

    比特币会不会就是帮他们训练?

  • 2023-05-02 00:45

    流浪地球里那句“人类把最精密的密码用在了相互毁灭上”[得瑟]太经典了。

  • 2023-05-02 08:11

    文明需要有文字记载(历史架空小说不算)相当于人证,还得有文物(假的不算)相当于物证,没有这两样的文明都是假文明!古埃及古希腊古罗马两河古印度文明是近代西方伪造的文明,历史上不存在。

  • 2023-05-05 12:08

    404

  • 2023-05-10 17:43

    175亿美元,九万个印度大叔,平均每人二十万?

  • 2023-05-09 19:54

    结果训练出来了还是个半吊子智能!创造力上仍然不如人,科技还是要以人为本才行![哭笑不得][哭笑不得][哭笑不得]

  • 2023-05-11 10:21

    中国最擅长大兵团做战,国家队一出手,最多资源都不是事[得瑟]

  • 2023-05-12 20:34

    能把明天的彩票号码算出了来的就承认你牛逼,不然都是扯淡玩意。

  • 2023-05-14 18:57

    差点把你吓死[笑着哭]

  • 2023-05-21 09:48

    继续洗脑

  • 2023-05-21 16:29

    没关系,只要把墙拆了,我们都可以白嫖gpt[得瑟][得瑟]

  • 2023-05-22 20:26

    英伟达含泪赚几千亿

  • 2023-05-28 10:08

    已经输了

  • 2023-05-28 20:01

    跪久的人,是看不到别人站着的,也不想站

  • 2023-05-29 14:36

    百度牛逼

  • 2023-06-01 09:09

    这玩意不是搜索引擎,芯片不突破,很难赶上。可以换个思路,只做对生产有用的ai,我主要怕以后美国人一个人干我们十个人的,我们怎么赶上,差距岂不是越来越大?

  • 2023-06-02 18:26

    这些硬件还不是最难的。底层算法,数学原理,以及以这些数学为基础的AI开发平台,比如openAI,TensorFlow这些国内都常用的人工智能开发平台基本都是美国的。

  • 2023-06-06 13:03

    北洋舰队硬件还亚洲第一呢

  • 2023-06-10 14:27

    靠堆砌算力搞出来的人工智能都是泡沫。

  • 2023-06-17 06:30

    不羡慕,再好也是人家的

  • 2023-06-20 11:48

    算力时代 算力将成为最重要的资源之一

  • 2023-06-22 19:31

    超算都没入场,谈什么算力不够…

  • 2023-06-26 10:46

    美国人吹的。第一次做阿凡达,当然现在都是完美的,用了400台工作站,之后,才有了3D电影。现在谁还拿3D当回事,鸡肋。

  • 2023-06-29 00:37

    量子计算机呢,抬出来

  • 2023-07-08 20:31

    华为的盘古早都出来了

  • 2023-07-09 12:32

    主要是国内搞不出来,用的是美国的接口,而且人家不给高级接口,人家只要一断网,我们就挂逼了,我也想要一个高级版本的,最近低级版本的在国内开账号要钱了[笑着哭][笑着哭][笑着哭],看来美国的账号注册完了要来中国收割了[笑着哭][笑着哭]

  • 2023-07-09 12:12

    华为:在盘古面前你们都是弟弟!

  • 2023-07-11 18:07

    以目前人类的生产力水平以及社会观念水平,这玩意越深入社会问题越严重。

  • 2023-07-18 15:08

    GPT目前是聊天,会不会是用于误导方向的呢?

  • 2023-07-21 21:03

    越来越多人活成了机器的样子,而惊叹着机器越来越像人。可能创造新的生命形式才是所有生物进化的最终目标。

  • 2023-05-29 18:39

    资本实在没地方捞钱了,元宇宙概念炒完了,开始gpt,还会有下一个,也许很厉害吧,但核武器做后盾我们一步一个脚印追赶就好。

  • 2023-06-02 16:51

    很少有人能把算力用完,以前在公司,负责机房,一个ai开发小组天天叫算力不够,一堆博士找我茬!气的老子直接在他们的服务器中安装监控,这帮孙子服务器的千分之一能力都没用到!一帮孙子[呲牙笑]

  • 2023-06-19 11:28

    这种顶流公司,有一家也了不起

  • 2023-05-01 00:11

    英伟达才真牛