在数字经济的推动下，越来越多的企业踏上了数字化转型的征程。数据中心行业发展良好，市场规模不断扩大。作为数字经济的主要载体和算力基础，数据中心在2024年将持续增长。随着一些超大规模云服务提供商回归扩张周期和支出，预计2024年全球数据中心资本支出将反弹至11%的增长根据市场研究公司 Dell'Oro Group 的最新报告，企业市场的冻结也将有所缓解。

那么，2024年数据中心的关键技术趋势是什么？以下是对2024年数据中心发展趋势和热点技术的展望。

生成式AI对数据中心算力提出更高要求

2024年，生成式AI仍将是各大企业的热门话题，更多的生成式AI项目将会产生。随着生成式AI项目的不断落地，数据中心将面临更大的算力挑战。为此，数据中心将迎来重大变革。记者认为，在提升算力方面，2024年数据中心将围绕以下热点实现重点突破。

1）异构计算

众所周知，生成式AI对数据中心算力提出了更高的要求。传统以CPU为中心的计算方式显然无法满足人工智能的算力需求。 CPU+GPU/FPGA/ASIC等异构架构将成为2024年及未来数据中心的主要算力构成。

当然，构建异构计算时，不仅要关注底层芯片，还要关注应用开发方式。我们必须软件和硬件并行，两条腿走路。同时，异构计算将CPU、DSP、GPU、ASIC、FPGA等不同流程架构、不同指令集、不同功能的计算单元组合在一起，形成混合计算系统。在这个生态系统中，有不同的厂商参与，既竞争又合作。只有通过多方的合作，才能不断优化算力架构，提高计算效率。

2）HBM高带宽内存

众所周知，生成式AI不仅对CPU和GPU性能提出了更高的要求，对存储性能也提出了越来越高的要求。传统内存显然无法满足AI的存储性能需求。 HBM（高带宽内存）已成为2024年及未来数据中心的技术趋势之一。

HBM 通过使用 3D 芯片堆叠技术将多个 DRAM 芯片堆叠在一起，提供更大的存储容量。随着AI技术的发展，GPU功能越来越强大，需要更快地从内存中访问数据以缩短应用程序处理时间。尤其是生成式人工智能出现后，大型语言模型（LLM）需要重复访问数十亿甚至数万亿个参数。如此大而频繁的数据处理往往​​需要数小时甚至数天的时间，这显然是不能令人满意的。要求。因此，传输速度也成为HBM的核心参数。

目前，大多数HBM采用标准化设计：HBM存储器堆栈通过微凸块连接到HBM堆栈中的硅通孔（TSV或连接孔），并连接到放置在基础封装层上的中间件，以及还安装了中间件 有一个处理器提供 HBM 到处理器的连接。同时，HBM通过控制芯片控制多个DRAM芯片，使其能够同时读取或写入数据，从而提高存储带宽和数据处理能力。

3）800G网络技术

网络性能是决定AI集群算力效率的核心因素。由于AI芯片需要非常大的互连带宽，如H100互连达到900GB（1B=8bps），这加速了网络架构的变革，800G网络将成为2024年数据中心的热点。

近年来400G的快速部署证明了业界快速提供最新解决方案的能力，服务提供商随着数据中心的扩展和升级，已准备好在2024年快速转向800G。为此，各大厂商也纷纷发布800G网络产品和解决方案。

800G交换机端口、光模块和DAC的推出为服务提供商提供了一个无需等待800GE标准即可升级网络性能的重要机会。 IEEE 802.3df 800G 和 1.6T 任务组的工作以及行业技术的发展将确保未来升级的稳健路线图。具有 800G 端口的 25.6T 交换机的推出为数据中心运营商创造了新的机会，可以利用网络显着提高性能，同时降低复杂性、成本和功耗。

节能环保推动液冷数据中心建设

数据中心的能耗问题一直备受关注。面对“双碳”目标，如何降低数据中心能耗也将成为数据中心运营商关注的焦点。 IDC指出，在国家“双碳战略”和东西方数据的持续要求下，数据中心需要走向绿色低碳。与此同时，以人工智能、5G为代表的科技热潮的兴起也给数据中心带来了资源利用、性能提升等挑战。

在政策推动下，液冷数据中心将是2024年及未来很长一段时间内用户关注的关键技术。作为突破散热瓶颈、有效降低数据中心PUE的关键技术，液冷技术将在2023年快速进步。众所周知，数据中心液冷主要包括冷板液冷和浸没式两种技术液体冷却。与浸没式液冷技术相比，冷板液冷技术相对简单，更容易部署。

当然，液冷数据中心的建设还存在很多问题，比如缺乏统一的行业标准、建设成本较高等。不过，随着技术的不断成熟和标准的不断完善，液冷数据中心将越来越受到用户的欢迎。