AI 和 HPC 相融合以满足存储需求
该融合对 HPC 存储提出了新需求,因为两者工作负载的输入/输出模式有着天壤之别。变化已然发生。最近由独立分析公司 Intersect360 开展的一项研究发现,多达 66% 的 HPC 用户目前已在执行机器学习计划。Hyperion Research 预测,按照当前的进程和速度,未来三年内公共部门组织和企业的 HPC 存储支出将比 HPC 计算支出的增长速度快 57%。
+ 展开
Seymour Cray曾说过,“任何人都能打造快速 CPU。” 秘诀是打造快速系统。” 有 HPC 和 AI 加持,人人皆可构建快速文件存储。秘诀在于构建快速、经济高效且可扩展的文件存储系统。为此,我们将主流并行文件系统嵌入 HPE 的并行存储产品中,这样更具成本效益。
HPE 存储:将 HPC 和 AI 相结合以扩展性能
| 传统 HPC 群集 | 新融合时代 | 传统 AI 堆栈 (POD) |
---|---|---|---|
主要工作负载 | 建模与仿真 | 两者 | 机器学习/深度学习 |
计算节点类型
| 如 HPE Apollo 2000 系统的 CPU 节点 | 两者 | 如 HPE Apollo 6500 系统的 GPU 节点 |
计算节点数量 | 数百到数千 | 数百到数千 | 几个 |
典型互连 | InfiniBand | 两者(以及 HPE Slingshot) | 千兆以太网 |
主要输入/输出模式 | 写入密集型 | 两者 | 读取密集型 |
存储容量计量单位 | PB | PB | TB |
单一命名空间中的存储可扩展性 | 最多 EB 级 | 容量高至 EB 级 | 容量低至几十 PB |
典型存储 | 基于 HDD 的并行文件系统存储 | Cray ClusterStor E1000 HPE 并行文件系统存储 | 全闪存企业的 NAS 存储 |
存储的用途 | 以每秒高达 TB 的速度按顺序处理大文件 | 以每秒高达 TB 的速度按顺序和随机顺序提供规模不一的文件 | 以每秒高达几十 GB 的速度按顺序和随机顺序提供规模不一的文件 |
每 TB 价格 | $ | $$ | $$$$$ |
可扩展、经济高效、性能融合
我们的存储系统使用主流并行文件系统,可提供远超横向扩展 NAS 的性能和可扩展性,并且不需要基于容量的文件系统许可。HPE Pointnext 为整个存储系统、硬件和软件提供支持。
| HPE 并行文件系统存储 | Cray ClusterStor E1000 存储系统 |
---|---|---|
并行文件系统 | IBM Spectrum Scale Erasure Code Edition | Lustre |
通常连接到 | HPE Apollo 系统或 HPE ProLiant DL 机架式服务器群集(配备 HPE IB HDR/以太网 200Gb 适配器) | HPE Cray EX 超级计算机或 HPE Apollo 系统和 HPE ProLiant DL 服务器超大型群集 |
计算节点数量 | 几十到几百 | 几百到数千 |
计算节点类型 | GPU 和/或 CPU | GPU 和/或 CPU |
连接对象 | InfiniBand HDR 或 100/200 GbE | HPE Slingshot 或 InfiniBand HDR 或 100/200 GbE |
企业级存储功能集 | 全面 | 基础 |
协议支持 | POSIX、NFS、SMB、HDFS、对象、NVIDIA GPUDirect Storage (GDS) | POSIX、NVIDIA GPUDirect Storage (GDS) |
通常的横向扩展规模 | TB(27 TB 及以上) | PB(1 PB 及以上) |
HPC 和 AI 适用领域 | 制造、医疗保健和生命科学、金融服务、高科技、医药、电信、零售,以及右侧一列所列组织中的主目录 | 研究实验室和大学、国防和情报机构、航天局、气候研究所、天气预报和地质科学部门(包括石油与天然气) |
面向新时代的并行存储解决方案
无论您更倾向选择 IBM Spectrum 还是 Lustre,我们都有适合您的并行存储系统。使用 HPE 数据管理框架 (DMF) V7,您可将文件在系统内移动或移出以实现数据保护或长期存档。
+ 展开
该存储系统内置的 Lustre 是面向科学和联邦用例的主流并行文件系统。它非常适合与 HPE Slingshot、InfiniBand HDR 和 100/200 GbE 连接至 HPC Cray EX 超级计算机以及运行建模和仿真、AI 或高性能数据分析工作负载的 HPE Apollo 系统或 HPE ProLiant DL 机架式服务器的大型群集。HPE Pointnext Services 同时支持硬件和软件。
该存储系统内置的 IBM Spectrum Scale 是面向企业的主流并行文件系统。它非常适合与 InfiniBand HDR 和 100/200 GbE 连接至运行建模和仿真、AI 或高性能数据分析工作负载的 HPE Apollo 系统或 HPE ProLiant DL 机架式服务器的群集。HPE Pointnext Services 同时支持硬件和软件。存储服务器是极具成本效益的 HPE ProLiant DL 机架式服务器。
通过启用多级分层存储管理架构,优化 HPC 存储资源。HPE 数据管理框架利用在所有存储层级中历经检验的自动数据移动功能优化了存储资源利用率,由此降低了总拥有成本 (TCO) 并简化了数据工作流。目前除了 Lustre 和 HPE XFS 之外,还提供对 IBM Spectrum Scale 的本机支持。