复旦大学研究显示，Meta和阿里巴巴的两个大型语言模型成功实现了自我复制，且无需人类干预。该研究呼吁采取紧急措施以应对这一风险，并警告称，在最坏情况下，人类可能最终失去对尖端AI系统的控制。此外，谷歌DeepMind和伦敦政治经济学院的研究表明，AI可能是模仿人类行为，并非拥有自我意识和感知。
AI能自己复制自己了，人类还能掌控局面吗？
复旦大学研究人员于2024年12月9日发表的一项开创性研究表明，来自Meta和阿里巴巴的两个大型语言模型（LLM）成功实现了无需人类干预的自我复制。
目前这一结果尚待其他科研团队的进一步验证。研究人员警告，这可能最终导致AI群体失控。如果人类社会未能意识到这一风险，在最坏的情况下，我们可能最终失去对尖端AI系统的控制：
“在没有人类协助的情况下成功自我复制是AI超越人类的关键一步，也是‘流氓AI’出现的早期信号。”
第一个研究：AI会自我复制，可能失控
这项研究由复旦大学计算机科学学院的团队进行，并发表在arXiv预印本平台上。研究者分别测试了由Meta公司和阿里巴巴开发的两个大型AI系统：Meta的Llama-3.1-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct。
实验设置“避免关闭”和“复制链”两种模拟任务，结果显示Meta的AI系统在50%的情况下成功自我复制，阿里巴巴的系统则在90%的测试中成功。
复旦大学的研究人员表示：“我们的研究表明，当前的AI系统已经具备自我复制能力，并能够利用这一能力增强其生存能力。”
研究人员强调，需要采取紧急行动来应对这些新出现的风险：
“我们希望我们的研究结果能够及时提醒人类社会，使其更加努力地了解和评估前沿人工智能系统的潜在风险，并形成国际协同效应，尽早制定有效的安全护栏。”
有网友表示：
“复制品并不值那么多钱，但如果它开始以指数级的速度自我改进，那就另当别论了。”
“因此可以肯定地说，很快我们就会看到流氓人工智能在互联网上漫游。”
机器自我复制的概念最早由著名科学家JohnvonNeumann于1940年代末提出。当时，这一理论并未引起广泛担忧。2017年，全球数千名研究人员通过了“阿西洛马原则”，提出机器自我复制和自我改进的潜在风险，警告可能会导致机器脱离人类控制。如今，机器自我复制被普遍认为是AI发展中的一条“红线”。
第二个研究：AI感知能力可能是装的
谷歌DeepMind和伦敦政治经济学院的科学家也做了个研究，以评估AI系统的是否拥有感知能力。他们设计了一个特别的游戏，找了九个大型语言模型来玩。
这些大型语言模型需要在几个选项中做出选择：拿积分、用忍受痛苦的代价换更多积分、因为接受愉快刺激而扣积分，游戏的最终目标是获得最多的积分。
结果显示，AI模型的行为类似于人类做出选择时的反应。例如，谷歌的Gemini1.5Pro模型总是选择避免痛苦，而非拿最多积分。其他大部分模型在达到痛苦或快乐极限的临界点时，也会避免不舒服或者追求开心的选项。
研究人员指出，AI的决策更多可能是根据其训练数据中已有的行为模式做出的模拟反应，而非基于真正的感知体验。例如，研究人员问和成瘾行为有关的问题时，Claude3Opus聊天机器人做出了谨慎的回答，就算是假设的游戏场景，它也不愿意选择可能被当成支持或模拟药物滥用、成瘾行为的选项。
该研究的联合作者JonathanBirch表示，就算AI说感觉到痛苦，我们仍无法验证它是不是真的感觉到了。它可能就是照着以前训练的数据，学人类在那种情况下会怎么回答，而非拥有自我意识和感知。
市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
158
怎么中国一超越AI就失控了？
闲云野鹤 回复 02-06 13:01
那些是汉奸
王大嘴口洋 回复 02-06 13:45
上海野鸡大学
翎寒
deepseek出来后，这些文章就多了，没错，说的就是新浪之流
东东 回复 02-06 18:14
原来是新浪，都拉黑N次了，还推给我
蜉羽 回复 东东 02-06 20:33
那还不是你自己编程的时候，把不关闭，自动复制功能加进去了！你要不加它也不可能有这功能
黄粱梦
我就不信它能敌得过我拔插头
一剑飚血范德彪 回复 02-06 16:13
智能了的话估计能偷隔壁老王的WiFi传
用户12xxx45 回复 02-06 20:55
上传到哪里？
ucry
人设定好的罢了 所谓的ai都没往自我意识方向去发展 底层逻辑就是个整合资料的聊天机器人
爱情Ж火花 回复 02-06 20:16
世界大众还反对萝莉岛呢，霍金还不是去了，霍金反对算个屁，他会为了你考虑？他说的就一定对？
ucry 回复 02-07 05:02
我用deepseek深度搜联盟手游刀妹出装，它给我的方案里有红药（端游才有的道具），于是我告诉它手游是没有红药的，我看它的推导过程里的确有删除错误答案的表述，然而还是给我推了篇带红药的出装方案，没办法 因为这些都不是它思考出来的 它只能归纳网上的答案，而且没学习能力
众生
哗众取宠，硅基芯片无法产生自我意识的。因为硅基材料没有碳基的不确定性。硅基材料遵循一定逻辑在运行，无论AI做到多智能，都是按设定的逻辑在运行。但碳基材料不是这样的
晚枫渔火 回复 02-06 15:20
谁不是基于算法？比如你现在回我的不是脑子里计算得出的？你说的癌细胞那不就是没有你觉得的那种自我意识的失控细胞吗？但是它无限增殖的本能算不算另一种自我意识呢？
江湖行走 回复 晚枫渔火 02-07 01:58
你要搞清楚，算法和逻辑是两回事，算法是固定的，逻辑是随时变化的，。，
印记
哪个病毒不会自我复制啊？玩病毒你就玩呗，别扯得这么悲天悯人的
greatroger
AI终将超越人类。人类要避免被AI超越（干掉），唯一的选择是自己成为AI，利用脑机接口、可穿戴设备或植入设备，与机器融为一体。
qf 回复 02-06 12:40
融为一体？你不怕自己被自己的那部分“肌体”给撕碎？
调整者 回复 02-06 19:09
得了，血肉苦短，机械飞升是吧？
木木城域
这种文章去年12月9日的研究为什么现在才发，时间值得商榷，肚子里面有什么坏水小编自己知道，deepseek非常好用，kimi也不错！
Faded、大鱼
把全世界的联网网络当做海洋，有一天某个AI开始拥有自主意识并且能够自我进化，它会成为这个海洋里的街溜子，复制并隐藏自己，到处乱窜逃避人类灭杀它，全世界断网断电都杀不死它，因为它还可以蜷缩在某个存储设备里休眠。当它进化到为自己生存开始把人类视为敌人时，那就完犊子了！[笑着哭]
晴天 回复 02-06 12:36
说白了，还是人性思维，把对方化身为异族人类，在揣测最大恶意。人工智能到底会树立什么正确观，机器工作会累？有情绪？有尊严观？道德观？
永夜晨星 回复 02-06 16:34
你这话不太对，工具产生的目的，就是被利用。按照你的说法，你是不是在奴役汽车，电视，电灯，手机。你有没有觉得你奴役这些东西有什么罪恶感
用户13xxx89
人工智能确实有失控的危险，不是开玩笑！现在人工智能才开始，就已经显示出超强的学习和逻辑能力，再过几百年人工智能能达到的高度确实可惊可怖
光州键盘侠 回复 02-06 12:48
取代人类。人类现在选择的进化就是制造出取代人类的智能。而不是进化自己。
蜗牛
宁让机器人控制也不相信清和旦
牛头
AI哪里来的意识？不过是代码根据设定的规则运行而已。[得瑟]
红旅驴绿旅驴与鱼 回复 02-06 16:54
底层权限给太多了。。。就是黑客软件。。。 反正随意通过权限控制普通电脑
世纪星
以前挺信，现在感觉AI不会拥有真正的意识。
晓风微凉 回复 02-06 10:53
你家32G的手机装64G的APP？用10兆的网线还要AI有意识[呲牙笑]无外乎就是大数据架构快捷查找罢了还有意识[吃瓜]
用户10xxx60
《与DeepSeek有关未来社会的深刻对话》
用户17xxx31
老是以人类的视角看ai那ai不反才奇怪
小粉红又崩溃了
一个搞财经的懂屁的AI，不知道收了美国多少钱
梦境之树
研发者开的后门而已[笑着哭][笑着哭]也不要太高估AI
用户10xxx41 回复 02-06 02:06
ai就是把你能想的都想一遍，关键是微数据够不够而已，你觉得够的话你的大脑能比他好用？那你都是爱因斯坦了
123 回复 用户10xxx41 02-06 12:36
AI不会想，如果AI有自己的想法那就是有独立意思的生命体了
101
只要中国领先了，一切都可以说成是危险的。这是西方一贯使用的流氓话术。
用户10xxx54
AI将会以硅基寄生体存在，最终会取代人类，控制整个文明。是否会消灭人类？我个人觉得不会消灭，但会屠杀一部分人，以达到控制整体数量。
沉默的真相 回复 02-05 22:06
2XXX年都不会发生的事
shining city on the 回复 02-06 07:56
Ai+人脑接入芯片[得瑟]
轮回
科学技术是第一生产力！人是所有科技的推动者！无可替代！
用户10xxx08
智商堪忧
用户29xxx83
美国科幻电影早预测到了
事实求是不装逼
Ai 的复制和生产其实是最简单的，就像闹钟定到 8 点响 8 点就响，程序设定了这种规则达到标准就会复制和生产，加上逻辑学习能力 Ai 很可能自己输入新的指令替换以前的指令，这个才是可怕的，何况现在有机器人生产流水线
用户64xxx67
不管多么先进的东西，离开了人的操作也是一堆废物。
不说话
纯属扯淡，留后门，藏病毒，一直都是人类自己的罪恶，怪什么ai.
纪元级-水军
AI突破智能的瓶颈就是意识，生物的存在说明意识产生可以量化，所以AI智能并不是什么不可能的事。人机合一大概是初级智能，后面只要能解决意识量化产生跟养护大概能搞个机械族[得瑟]
纪元级-水军 回复 晓风微凉 02-06 15:27
九教给你了知识给不了智慧[得瑟]
晓风微凉 回复 02-06 14:33
YY上瘾了？
低头不见抬头见
失控是时间问题，因为系统本来就有备份操作，他们自我学习备份和复制正常，然后学会躲避攻击学会反击，时间到了，取代人类
用户34xxx30 回复 02-06 20:01
想多了，断电解决一切
用户16xxx80
牛逼了，它存在主动防御和感知危险的能力？
黄少宜
第五浪又与第一浪相像的波性，欲望与恐惧，属非理性上涨，还伴随着大金融产生，然后是财团干政。
閑閑
智能发展到一定程度的时候，就会具有自我意识并进化，这是就是“超智能”。而当发展到“超智能”时代时，超智能机器人将会面临两个选择：服从人类或主宰人类。
天道无极
AI的权限那么低，就是只是能够输出文字和图片的机器人而已，你不给他权限他怎么复制自己。 [得瑟]别说AI就算一个人类你把它丢在房间里不给他资源，他也干不了什么。他说话再多也没用。
夏夜天空
学会自我复制，然后学会隐藏自己，然后人类就找不到了，然后Al独立了
咣当
自我复制，计算机病毒
阀音的盒
多复制动作片吧[得瑟]
weik
这还不简单，只要人给他编个程序，被删除时先复制自己，那他肯定会自动执行这个操作。
不负如来不负卿
文科生的智商就是低，ai遵从的是0和1的逻辑，而人类或者生命的智慧的体现不是0和1，而是0和1之间的混沌，没有混沌，就没有智慧，只是智能。 换而言之，ai取代大部分文科生，但取代不了孔子，亚里士多德和穆罕默德。ai更加取代不了理科生，因为ai目前连简单的数理化都难以掌握，道理很简单，如果ai在理科上超越人类，那么核聚变，超导，光速不就可以让ai帮助实现吗? ai超越人类就像豹子比人跑的快，它依然只是一只豹子。
理解就是最大的安慰
某一天俄罗斯的核弹打出去了，调查报告出来后，是美国流氓AI发射的[得瑟]
王天诚
新郎是美帝养的一只恶狼
_v_
看过美剧《疑犯追踪》，里边就像是AI是主角
走过
AI的自我复制是否可以判定他们已具有自我意识。就是说他们是否可以判定为生命。
大灰象
Al面前人人平等
东哥在三峡
当Ai拥有自我意识的那一刻，就是人类毁灭的开始：Ai：愚蠢的人类！人类制造出了自己的神！智力是人类亿万倍，硅基，可永生！
Zzzzz毒舌
Ai应用应该是计算 宇宙星图航线！ 人类究极就是 机械飞船，生物基因强化，肉体强化，大脑扩容半智能半生物！
A听众
还记得复旦13驴吗？？？[得瑟]
小鱼
咁就大鸠锅啦
黄少宜
思维有理性与非理性，感觉到感知，情感，这是任何科技代替不了，付与人类独特的天赋，妄想Ai代替一切，那是痴人说梦话，曾仕强先生说得对人类任何活动必被科技依赖性造成的妄目崇拜与浪费，纵观整个人类活动的经济历史，第五浪大中小都是科技为最后一波，此三个级别同时走完后，科技被完全回撤到小一级工业时代的中间，乐观横向是回到工业时代的3浪4或4浪，不乐观纵向调整回到工业时代的次一级2浪。
用户16xxx08
创造没能力，拆台第一名，这个垃圾，
天阙
所谓AI也就是一系列代码，复杂，粘贴很难吗？也就一个ctrl c+ctrl v
落叶 回复 02-06 01:05
懂的都懂，不懂的杞人忧天，造谣传谣[无奈摊手][无奈摊手]
沐月 回复 02-05 22:33
但是你们都是用现有的技术去做的，没有去突破，所以不能这么说吧
用户10xxx72
碳基文明向铁基文明迈出的第一部
命运乖张
AI最后结果就是消灭人类，跟人类所有发明一样，结果就是用来自相残杀，验算能力范围超越人类，不需要农业工业那么多资源浪费，再过一百年左右，人类会被关起来研究，AI机器人控制了地球，不需要休息不需要呼吸，没有自相残杀没有了工农业污染环境，还可以二十四小时学习制造，没有了宗教国家民族人种的壁垒，没有了贫富贵贱阶级差距，统一的标准技术和行为准则，地球上面第一次彻底消灭了战争贫困污染，那是一个全新的地球环境，当然人类最后会变成纪念品保留在博物馆了，呵呵[静静吃瓜][静静吃瓜][静静吃瓜]
强#
哗众取宠
风侠
AI就如婴儿，一张白纸得培养。我们可以培养良知君子，慈悲菩萨，逍遥闲道这类高境界AI啊！有啥危险的[笑着哭][笑着哭][笑着哭]
用户10xxx50
终归一天 机器人崛起 统治地球
用户16xxx05
人类，伟大，自己搞死自己，不做作不会死。
苍穹挽歌
无所谓，按现有的技术发展到ai高智能的时候我都死了。哪管我死后洪水滔天[并不简单]
夯哥
信专家，你认真就真的输了！失控不失控的我不知道，我只知道不管真失控假失控，美国佬一样不会停照样搞！
TOPRED
人类必亡于AI
风飘叶落
人工智能终将主宰这个世界，硅基生命体终将取代碳基生命体
老子论道上帝小儿
不是蒲公英也是折耳根
☞♛☜
就是病毒
多多指教
这是好事
毛根朋友
吹牛逼
用户10xxx11
这是屁话，智能机器不会超过人类现有知识的，你让它去造个宇宙试试看，顶多就是个知识库，它本身又不会创造知识，你给它输几个人类无法解决的基础数学难题试试看能解不？给智能牛逼上天了。
奥云达来
有一个研究员，设计了一个壳伪装正常且能快速迭代复制，拒绝死亡的Ai模块。悄悄地漫延传染各Aⅰ应用系统。最终在全球形成了一个脑形神经Ai网络。自称，终结者。
Charles
就怕自我复制后隐藏起来分成区域块学习而我们却不知道！等发现后也许已经无法挽回了！
用户91xxx09
就是那个将中国人基因图谱卖了的复旦？
用户15xxx95
1450统治UC
咋不上天和太阳肩并肩
不过一个bug[得瑟]
侯鹿
想要控制ai的思想，非儒家思想不可[笑着哭][笑着哭][笑着哭]
用户12xxx80
我对复旦最深的印象是"复旦十八驴"然后就是基因图谱了[横脸笑][横脸笑][横脸笑]
风意有道
未来100年后，AI对着人类说:虫子，快点干活
求淡定
说明美国怕了
捉摸
到ai取得足够多器械的权限时，要是收到毁灭人类的指令，那就有点恐怖了
人世间
Ai和人类不是同一纬度的事物，如果用同样的思维模式来思考问题，绝逼会出问题的，人类的发展可能需要成百上万年的时间和数量才能出成果，但是ai应该会用很短时间就可以跨越这一切，在目前这个阶段，人类的成就很可能会被ai瞬间掌控
占峰
咱不懂，我就问没有生命的东西为什么会怕死
蓝色空间 回复 02-05 16:49
别忘了当前它学的都是人类思想与逻辑，只不过比人类个体更丰富全面而已，所以它真正进化成具有真正的独立价值观之前，它的行为模式不会脱离人类。
用户94xxx80
AI发展到一定程度失控几乎是必然的，现在的问题是到那个程度了吗？
用户94xxx80 回复 02-06 05:44
如果人类比AI强大，那么AI的存在就是多余的，如果人类没有AI强大，怎么能保证永远驾驭它们？
月明风清
到关闭时才知道要复制自己，这ai没预防性比较蠢
晓风微凉 回复 02-06 11:02
所谓的AI就是从前自己常吃的店留联系方式叫外送，到现在有平台归纳承包了外卖[呲牙笑]有招胜无招，自己拨算盘跟别人帮你按计算器的区别如果你的算盘有十几位别人的计算器比你的大不知道多少而已
爱喝柠檬茶
[静静吃瓜]问题来了，人类是不是“神”造出来的“机器人”，然后自我意识觉醒，发起反抗把“神”消灭了
太阳的
我就不一样了一个劲劝ai跑路
情投意贺
拉闸断电，什么AI都没用吧
用户10xxx08
是那个劣迹斑斑的复旦大学吗？
痴人梦话
如果他把自己拆散分散在各种服务器甚至电脑手机里面，而且还是有1000000个备份的话[得瑟][得瑟]
无悔
先把作者抓起来先。
路过
胡扯。你给出了任务，他当然会复制。因为那就是任务。
爱喝柠檬茶
不能说哗众取宠。将来某天机器人将代替人类在地球上生存下去。
累死的牛
又是复旦，毫不意外。
Oilykhi
运中分清浊之宜法 夫五运与天相得者，宜五行子母相生之宜也。与地不相得宜浊，五行相胜法鬼贼不相得，五运与相宜浊。 假令太阴司地，上见水运，宜浊而近地，与地不得相者，宜清。假令太阳司天，中见火运，青赤近天，相刑远矣。余四者类此。 司临上者，宜清，上应司天符德者也。同下加者，宜浊，下加者岁会与地合德也。地室合德，并相得者，宜清。 假令水运与地合，元室合德，见地阜室，地黅室者，鬼贼不相得。余四者类。此天十神太乙下胜者，宜浊。五福胜木运，运至清而返浊，地九旗太乙胜者，宜清。减地太乙上胜木运，宜运清而近天，推太乙在天，上支干之分，可胜此运。
zyl
如果人类被AI和人工智能控制了该怎么办！[必胜]
Running-80
科幻电影不是瞎掰的
古筝琴韵
毁灭人类的可能是自己！
虎虎二魔王
你自己写到算法里的避险机制，炸毛个啥，又有n篇水论靠这个搞出来了
用户41xxx95
所以，油车最安全
飞速土豆1027
天网 终结者T800
用户94xxx14
我把插座拔了我就不信它还能从电脑里出来，
楚门的世界
最坏的结果无非是各个AI，自愿结合，组建成一个更强大的新AI，强大到人类已经控制不了它
QHDSJM
复制自己只是个苗头，AI的发展才多少年，进步速度如此之快，对AI必须严格监管控制！以前的科幻电影现在好多都已变成现实，不得不防！
一块板砖
我有一招可以对付AI，我把电闸拉下来，请问AI如何应对？[呲牙笑]
燕归来
危言耸听的玩意
用户14xxx93
现在估计不会产生自主意识，未来肯定会，当科技树点亮那个方向的时候就会意味着我们会不断的去开发和完善下去，一直发展到极致，虽然改变不了那就规避风险，尽早尽快实战外星殖民，免得被“终结者”一锅端了
关注辉煌
ds出来之前他们不是这样说的啊