分布式文件存储方案 唐代诗人卢纶,有一首脍炙人口的《和张仆射塞下曲》,“月黑雁飞高,单于夜遁逃。欲将轻骑逐,大雪满弓刀。”诗中的慷慨激昂,热血炙烈,千年来让无数国人心魂激荡。 时代变迁,岁月迁移,今天我们所期望听到的热血故事或许不在现实世界,而是在数字山野的轻骑追逐中,在核心科技的发展竞赛里。 《数字中国建设整体布局规划》中,明确提出了构筑自立自强的数字技术创新体系,为关键核心技术突破发展指明了方向。在核心科技自立自强中,越来越多的“欲将轻骑逐,大雪满弓刀”的故事正上演着。 5月24日,在德国汉堡举办的ISC 2023(国际超算大会)期间,更新了最新一期的IO500榜单,这是国际最权威的存储性能排行榜。在IO500极为重要的10节点榜单中,华为OceanStor Pacific分布式存储全面刷新了世界纪录。尤其惊人的是,华为OceanStor Pacific的总得分超过了13万分,是上届冠军得分的15倍之多。 在世界纪录背后,在华为OceanStor Pacific分布式存储霸榜背后,蕴藏着存储镇守数字经济大国重器的支柱意义,也蕴藏着中国存储从跟随走向领先的全球化趋势。 一纸榜单背后,是一份对数字山河的守候,是一场轻骑绝尘的突围。 数字时代,半壁江山 想要讲清这个故事,首先需要了解一个背景:HPDA为什么重要?以及面向HPDA场景的分布式存储为什么价值非凡? 首先HPDA是由HPC(High Performance Computing高性能计算)发展而来。HPC是一种数据分析的应用场景。其通过聚合大量的计算和存储单元对数据进行分析,从而解决复杂问题。从基因测序到芯片制造,从油气勘探到航空航天,再到我们生活中的天气预报、影视特效渲染,都离不开HPC作为计算底座。 总之一句话,HPC是现代社会发展的计算基石。所以有人笑称,《三体》里的外星人要想遏制人类科技,其实不用那么麻烦,不让人类用HPC就行了。 随着HPC性能与技术的不断进步,人类能够在固定时间内分析更多数据,与之相伴的,我们也会保存更多数据给HPC场景,用来挖掘数据背后的价值。 随着相关数据量的指数级增长,HPC领域逐渐认识到提升数据分析能力、革新数据分析机制的重要性。将AI、大数据等技术分析手段与HPC结合,是更高效实现数据价值的新形式,即HPC、AI、大数据融合而成的 HPDA(High Performance Data Analytics)。 根据相关数据,2017 到 2023 年间,HPDA类应用的年增长速度达到了15.4%,HPC-based AI 类应用的年化增速更将达到 29.5%,远高于传统HPC的7.8%。由于HPDA事关国计民生,与国家的科技创新能力、科技自立自强水平紧密相关,HPDA已在全球范围内被认为是未来科技发展的战略高地,被称为占据数字时代的半壁江山。 一项技术的快速增长,往往会给配套设施带来挑战。HPDA的快速发展,就给存储产业带来了巨大的升级需求。随着数据量从PB级向EB级演进,存储成本日益增高。高性能计算量的持续增加,以及大数据、AI能力的加入,又对海量数据(603138)的多次提取、流转、读写、存储能力提出了更高的要求。 因此面向HPDA的分布式存储,正在承载越来越多的目光和声量。有人认为,谁掌握了HPDA存储,谁就能掌握尖端科研的未来。
|