为什么新的存储与计算分离会成为主流?

鱼云 2024-12-13 10:03:48

有句古话:天下大势,久分必合,久合必分。

同样,在数据中心的这些年发展过程中,计算和存储也经历了多次的分割和合并。从大型机计算与存储的紧密耦合,到小型机经典的IOE存储计算分离架构,再到与云超融合的出现,存储与计算再次融合。计算和存储就像是一对相伴多年的CP,有时亲密无间,有时又若即若离去。

计算与存储之所以​​多次分离与组合,是因为需求的变化带动了架构层的相应变化,但计算与存储相辅相成、协同发展的关系从未改变。如今,随着大量云、互联网业务场景的出现,新的存储与计算分离架构开始出现,计算与存储再次加速走向分离。

为什么存储与计算分离架构将成为未来十年数据中心的最大趋势?新的存储计算分离架构与过去有何不同?新型存储计算分离架构的关键技术和挑战是什么?近日,CCF院士、信息存储专业委员会主任、清华大学教授、厦门大学信息学院院长舒吉武教授的论文《新型存储-计算分离架构的技术展望》引起广泛共鸣在行业中。让我们来看看吧。 。

场景变化促使存储与计算再次分离

舒吉武教授在论文中指出,云、互联网、大数据、人工智能等驱动的新业务场景快速发展,给基于服务器部署和存储的融合架构带来了巨大挑战,主要包括:

第一,数据存储周期与服务器更新周期不匹配;其次,性能可靠性和资源利用率难以兼顾;第三,新的分布式应用如无服务器()应用对共享存储有需求;第四,数据中心税导致数据密集型应用效率低下。

如何理解舒继武教授提出的四大挑战?我们先从业务形态变化和资源需求响应的角度来解读。

众所周知,随着数字化转型的深入,很多行业的用户都拥有大量的云和互联网业务场景。业务形态逐渐发生变化,业务活力不断增强,对基础设施资源的灵活性和利用要求大大提高。此时,基于服务器部署存储的融合架构的缺点继续被放大。

例如,计算和存储更新周期不匹配,导致扩容时资源没有得到充分利用,同时也增加了数据迁移等工作;支持业务的服务器存储,无论是基于性能还是基于容量,都无法同时实现高性能和高可靠性。性能和高资源利用率等。

另一方面,以无服务器()应用为代表的新型分布式应用的兴起就像催化剂,加速了业务数据共享访问的需求,使得存储计算分离架构获得更多用户关注。

例如,分布式数据库等应用正在转向容器化部署和应用。存储计算一体化架构难以满足新的分布式应用在CPU、内存、存储容量/IOPS/带宽、网络IO/带宽七个维度的需求。 。业内一些云数据库公司甚至开始推动存储与计算的进一步分离,将计算节点处理的缓存层和日志功能推向共享存储,以实现更高的性能和资源利用率。

俗话说,旧的不去,新的不来。在业务场景和硬件技术快速发展等多重因素推动下,新型存储计算分离架构迅速涌现,成为近年来基础设施领域的最大热点。那么,这个“新人”是否值得承担这么大的责任呢?

新的存储计算分离架构有什么“新”?

舒吉武教授在论文中指出,高性能磁盘框架、NVMe/CXL新协议、专用数据处理器(如DPU)、RDMA/NoF新网络技术等硬件的快速发展,为网络技术的高速发展奠定了基础。全新的存储计算分离架构。 。与传统的存储计算分离架构相比,新型存储计算分离架构具有更多新特性:专用服务器、多样化的网络协议、专用的数据处理器和极高存储密度的存储系统。

那么,对比新旧架构,有哪些差异呢?

首先是架构处理逻辑的根本性改变。新型存储计算分离架构的兴起,标志着以通用CPU为中心的处理逻辑向以数据为中心的处理逻辑的加速转变。这也意味着服务器等计算设备将逐渐专注于计算任务;而专用数据处理器和存储系统将承担更重要的任务,其价值和作用将更加凸显。

比如目前大量DPU产品的出现就是最好的证明。 DPU将数据存储、访问等大量操作卸载到专用数据处理器上,释放服务器的计算能力,提高架构的整体能效。

服务器的本地磁盘被面向架构的存储系统所取代。近年来,西部数据、海量Ceres高性能磁盘柜、华为微存储等都是新型存储计算分离架构下存储系统的代表。

其次,新的存储计算分离架构在架构上是完全解耦的,不仅仅局限于CPU和外存的解耦。这将彻底打破各种存储和计算硬件资源的界限,形成各种独立的硬件资源池。 ,实现各类硬件的独立扩展和灵活应用。

这种彻底的解耦就像搭乐高积木一样。各个组件之间高度独立,可以灵活组合。能够灵活组合、快速响应云、互联网、AI等业务弹性强、变化频繁的特点。

分工越来越细化,每个组件各司其职,就像专业人员做专业的事一样,最大限度地发挥每个组件的能力。

当然,解耦后,各个硬件组件变得完全独立且可以灵活组合,这也意味着组件之间的协作是新的存储计算分离架构必须面对的。对此,舒继武教授在论文中指出,场景化数据缩减、高通量超融合网络、网络存储协同、盘核协同等关键技术对于新型存储计算的发展至关重要。分离架构。

未来存算分离要注意什么

如今,DPU、智能盘框、CXL/NoF等网络都取得了快速发展,加速了新型存储计算分离架构的落地。舒吉武教授在论文中认为,面向云和互联网场景的新型存储计算分离架构符合未来数据中心可组合架构的趋势(),但也面临技术、生态等挑战。

具体来说,舒吉武教授认为,计算与存储之间的数据访问接口和标准主要采用块存储语义。面对未来异构计算能力的快速发展,内存访问语义、计算协作语义等表现出能力不足。 ,仍需业界共同探索解决。

此外,虽然新的存储计算分离架构提供了比以前更好的基础设施能力,但如何发挥其潜力仍然取决于应用服务。就像在汽车中一样,新的内存计算分离架构就像一个优秀的发动机和底盘,而应用服务框架就是变速箱。如果变速箱不能与时俱进,汽车就很难发挥发动机的优势。舒吉武教授指出,设计更高效的应用服务框架,实现与上层应用的完美协同,是一个长期的过程,需要生态伙伴的共同努力。

尽管存在技术和生态挑战,但新的存储计算分离架构已经势不可挡。未来十年,随着中国数字经济的蓬勃发展,数据要素已成为最重要的生产要素。以综合大数据中心、智能计算中心为代表的新型基础设施不断建设。在算力快速增长的国家趋势下,新型存储计算分离凭借架构灵活、精细化等优势,有望广泛应用于云服务商、电信运营商、金融等多个行业。资源利用率、绿色低碳能源消耗比例。

鱼云提供全球范围的云服务器和物理服务器租赁服务,具备强大的DDoS防御功能,确保您业务安全稳定运行,同时提供灵活定制和专业支持以满足多样化需求。

0 阅读:9