HPC的应用领域持续扩张
高性能计算HPC已经有了几十年的历史，广泛应用于科研教育、气象预测、石油物探、基因测序、芯片制造等多个领域。随着5G、IoT、AI技术的发展，HPC和大数据、AI技术融合，HPDA（High Performance DataAnalysis）、HPC-based AI等新兴HPC场景开始出现，HPC的应用进一步扩展到自动驾驶、金融反欺诈、个性化医疗等领域。
当前全球最主要HPC市场在北美、欧洲、亚太及中国。IDC 预计到2021年，全球HPC存储市场空间可达148亿美金，其中新兴的HPDA和HPC-based AI场景将以年化17%、29.5%的增速快速增长。
典型场景及存储需求浅析
HPC按照业务模型可分为带宽型、OPS型和混合型，按照业务类型可分为商用和科研。商用HPC门槛相对较高（可靠性和特性要求高），生态复杂度低；科研HPC规模大，但业务模型和生态复杂。
HPC解决方案主要由基础硬件、HPC套件及行业应用组成，在基础硬件领域，服务器、网络同质化竞争严重，存储成为体现方案竞争力的关键。业务场景不一样，对于存储的需求也不尽相同。下面以油气勘探、EDA仿真、自动驾驶训练为例，简要分析不同类型方案对存储的需求。
油气勘探：
目前油气勘探中最常使用的是“地震波”，就是用炸药在地面激起人工地震波，通过搜集不同形态的地质构成时形成不同的反射波数据，然后进行大量的HPC密集计算和模拟，计算结果出来后还要转换成直观的可视画面，方便专家对数据进行解释，为油气钻井定位提供参考。“地震波”法将产生海量的数据，一般二维数据可达1~2TB，三维数据可高达几百TB甚至PB级。随着全球石油储量的不断减少，油气勘探变得更加困难，需要进行大量的尝试，才能确定石油或者天然气层的精确位置，这也就导致了数据量和数据分析需求的激增。
油气勘探数据处理流程中，地震资料处理是典型的带宽型场景，也是对存储需求最大的部分，以大文件大IO并发读写为主，容量需求可达数十PB，性能需求可达几十甚至上百GB/s。由于油气勘探数据量、带宽性能要求高，对存储的核心诉求是高带宽能力和更优的TCO。
油气勘探流程
芯片设计EDA：
EDA仿真的效率，直接决定着芯片厂家的竞争力，如一颗手机CPU芯片千万门级，需要200~300核计算资源，对应约6TB存储，仿真过程模块化进行，少则几分钟，多则几天到一周。EDA仿真分为两个阶段，即前端的逻辑仿真和后端的物理仿真，在前端逻辑仿真环节，主要是RTL编码和综合优化的仿真，IO特点是KB小文件读写为主的OPS型业务，伴有大量的元数据操作，对文件系统的IO性能要求很高，这也是对EDA存储挑战最大的部分。在后端物理仿真环节，主要是网表转换成版图和版图优化的仿真，以GB级大文件写为主，对带宽有一定要求。
EDA仿真对存储的核心诉求是高OPS能力，越来越多的厂商开始基于全闪存分布式存储方案来提供更低的时延，更高的OPS能力。
芯片设计EDA流程
自动驾驶研发：
自动驾驶分为L1-L5不同的等级，随着自动驾驶等级的提升，要训练的数据量会成倍增长，当前各车企多处于L2-L3等级，每车每天产生的数据量已经达到2-64TB。自动驾驶训练流程中，数据导入和预处理主要针对大文件，是典型的带宽型场景；AI训练则主要针对预处理后的图片文件进行训练，对存储的OPS和时延要求很高；验证仿真属于传统的HPC仿真，又是典型的带宽型场景。
除了不同阶段对存储的性能要求有差异之外，自动驾驶训练的不同阶段，使用的访问协议也是有很大差异的，属于典型的HPDA（HPC + HDFS大数据分析）场景，要想提升流程处理效率，需要存储支持多种协议的互通，减少数据拷贝。
自动驾驶研发流程
目前HPC使用的存储分为并行文件系统和通用文件系统，并行文件系统性能更好，但增值特性较少，可靠性和可维护性较差，主要应用在科研HPC领域；通用文件系统则相反，特性丰富，可靠性和可维护性更好，但性能相对差一些，主要应用在商用HPC领域。且不同的存储有的擅长带宽型业务，有的擅长OPS型业务，均不能很好的满足HPC越来越复杂的性能需求，越来越高的效率需求。
新一代OceanStor分布式存储，融合架构应对HPC挑战
基于HPC产业的发展趋势需求，华为推出了新一代OceanStor分布式存储，以创新的融合架构来应对HPC场景的新挑战。
协议融合
OceanStor分布式存储既支持私有客户端和MPI接口，又支持标准的文件/HDFS/对象协议，且能够实现多种协议的互通，一种协议写入的数据可以使用另一种协议直接访问，从而支持HPDA场景的数据快速分析。
高带宽和高OPS融合
OceanStor分布式存储通过架构创新，带宽类应用可以充分发挥多节点并发能力，OPS类应用可以实现免分布式锁、免转发，附加RDMA能力的支持，一套存储即可同时提供高带宽和高OPS能力，无需因流程不同阶段的需求不同而选择不同的存储。
热温冷生命周期融合
OceanStor分布式存储支持从全闪存到高密HDD的分级存储，热温冷数据都可以使用最合适的介质来存储，从而达到性能和成本的均衡。更近一步的，OceanStor分布式存储高达91.6%的EC利用率和重删压缩能力，可以为用户提供更优的TCO。
<strong>5G和AI的时代背景下，HPC产业迎来了新的春天，新兴的HPDA、AI类应用也给HPC存储带来了新的挑战，华为新一代OceanStor分布式存储，以创新架构实现了协议融合、高带宽和高OPS融合、热温冷生命周期融合，助力用户从容应对新时代HPC的挑战。
閱讀更多 周躍峰 的文章
