“ScalingLaw”规律还“看不到边界”,OpenAI的大模型同样符合“S

忆苦更思甜 2023-12-20 20:49:35

“Scaling Law”规律还“看不到边界”,OpenAI的大模型同样符合“Scaling Law”规律,这也是ChatGPT惊艳表现的由来。“Scaling Law”规律代表了一种可能:通过堆算力、堆数据、堆资源、堆资金,就可以完成以前看似无法完成的任务:“所以无论国内外,都在‘疯狂’建设智算中心”。

“大模型其实拉开了通用人工智能,也就是人工智能系统全面超越人类的序幕,这是很激动人心的时刻。”“Scaling Law”规律。这是Deep Mind在2020年发现的一个规律:模型性能随着模型规模、数据规模和算力规模等因素的增大而提升,呈现出幂律分布的特征。提升算力规是提升人工智能能力的重要抓手之一。没有强大的计算能力、高效的数据处理和存储系统,大模型的潜力无法得到充分发挥。因此,投资智算基础设施,不仅是推动技术进步的必要条件,也是促进整个产业生态发展的关键。

0 阅读:0
忆苦更思甜

忆苦更思甜

感谢大家的关注