原本我还认为几年前没能力用搜索引擎得到自己想要信息的人,未来几年也没能力用大模型

薛定谔的喵咕咕咕 2025-01-28 11:25:03

原本我还认为几年前没能力用搜索引擎得到自己想要信息的人,未来几年也没能力用大模型搜索,他们缺乏的是提出问题的能力而非使用工具的能力,但是展示推理过程的强推理型大模型很有效的改善了这个问题。

前段时间测试了一下,大部分我之前认为需要被拆分进行推理式解答的复杂问题往往通过提供给他正确的约束词就都能被推理型模型覆盖,简单来说就是起点到终点的路径不再是提问者需要逐步厘清的东西,token传递+MoE+一系列复杂的权重算法会帮你做到这一点。

但是我依然比较保守的看待MoE的过拟合,他很容易顺着提问者思路在一个模棱两可的问题上给出并非完全基于规则/判例的微妙解答,也就是俗称的先射箭后画靶子。

就比如前几天那个标点符号的问题,你要强行让模型认定标点使用错误,那他可以帮你找到抵达这个终点的路径,你要说这个标点使用没错,他同样能帮你找到类似路径。

在过去这个推理过程由我自己完成,我会寻找中文语法结构和句读规则进行规则性判断,结合权威判例,并且赋予权重的筛选判例,但是开了深度思考的deepseek会根据你的语气和主观判断筛选答案,这句话就没有问题吗?(主观认为有问题)和这句话是否有问题(中性提问)给出的答案会有些不一样,而有些内容例子甚至会给出自我否定的答案,很有趣[doge]

另外deepseek只是戳了个美国AI算力非线性论的泡泡,类似于在大家一直认为摩尔定律要失效了,半导体发展会极度依赖工艺制程的时候突然掏出来了一个巨牛逼的新处理器架构,论证了一个新的周期内摩尔定律还不会失效,这时候市场基于前一个判断给先进工艺制程公司的估值就会失效,但是未来的情况是,新模型算法和蒸馏手段落地到最新的算力后,军备竞赛还是会和摩尔定律在工艺和架构上的ticktock类似,远没有大家想的那么乐观捏。

0 阅读:3
薛定谔的喵咕咕咕

薛定谔的喵咕咕咕

感谢大家的关注