AI 和 HPC 相融合以满足存储需求
该融合对 HPC 存储提出了新需求,因为两者工作负载的输入/输出模式有着天壤之别。变化已然发生。最近由独立分析公司 Intersect360 开展的一项研究发现,多达 66% 的 HPC 用户目前已在执行机器学习计划。Hyperion Research 预测,按照当前的进程和速度,未来三年内公共部门组织和企业的 HPC 存储支出将比 HPC 计算支出的增长速度快 57%。
HPE 存储:将 HPC 和 AI 相结合以扩展性能
| 采用并行文件系统的 | 新融合时代 | 采用 NFS 存储的 |
---|---|---|---|
主要工作负载 | 建模与仿真 | 两者 | 机器学习/深度学习 |
计算节点类型
| 如 HPE Apollo 2000 系统的密集 CPU 节点 | 两者 | 如 HPE Apollo 6500 系统的密集 GPU 节点 |
计算节点数量 | 数百到数千 | 数百到数千 | 数十 |
典型互连 | InfiniBand | 两者 | 千兆以太网 |
主要输入/输出模式 | 写入密集型 | 两者 | 读取密集型 |
存储容量计量单位 | PB | PB | TB |
单一命名空间中的存储可扩展性 | 最多 EB 级 | 容量高至 EB 级 | 最多 PB 级 |
典型存储 | 基于 HDD 的并行文件系统存储 | Cray ClusterStor E1000 | 全闪存企业 NAS/NFS 存储 |
存储的用途 | 以每秒高达 TB 的速度按顺序处理大文件 | 以每秒高达 TB 的速度按顺序和随机顺序提供规模不一的文件 | 以每秒高达几十 GB 的速度按顺序和随机顺序提供规模不一的文件 |
针对写入 | 进行优化 | 两者 | 读取 |
存储架构 | 无磁盘计算节点 | 采用高性能共享文件系统的 | 计算节点中的本地 SSD |
存储创建者及支持者 | 计算系统供应商 | 计算系统供应商 | 第三方存储供应商 |
每 TB 价格 | $ | $$ | $$$$$ |
面向新时代的并行存储
无论您运行大规模建模和模拟还是大型 AI 模型,我们都有适合您的存储系统。
Cray ClusterStor E1000 存储系统
该存储系统经过优化,适用于大规模建模和模拟以及在 XD 超级计算机或 HPE ProLiant 计算群集上运行的大型 AI 模型。橡树岭国家实验室开发的 Orion 文件系统是世界上规模最大的 POSIX 文件系统,支持具有 37,632 个 GPU 的超级计算机。
HPE 数据管理框架 (DMF)
通过构建分层的数据管理架构,优化 HPC & AI 数据管理。HPE 数据管理框架利用在所有存储层级中历经检验的自动数据移动功能优化了存储资源利用,由此降低了总拥有成本 (TCO) 并简化了数据工作流。目前除了 Lustre 之外,还提供对 IBM Spectrum Scale 和 NFS 的支持。