您是否无法对高性能计算 (HPC) 和 AI 环境中的文件进行有效管理? HPE 数据管理框架 7 (DMF7) 可在 HPC 和 AI 存储系统之间提供集中式数据管理,并且保护 Lustre 和 Spectrum Scale 等可扩展的并行文件系统。命名空间反射用于创建文件系统状态的独立快照,让您能够将文件系统恢复至已知良好状态。此系统可以维护文件版本,让用户能够从先前成功的作业运行中恢复文件。HPE DMF7 可自动在存储层次结构的不同层之间进行数据移动,例如闪存和磁盘之间。管理员和用户还可以使用 HPE DMF7 在不同的文件系统之间移动文件,例如当必须从即将淘汰的存储中移动文件时。HPE DMF7 自动将文件移动到低成本存储层,创建不受物理容量限制的虚拟存储空间,借此提高昂贵的高性能存储的利用率。

新特性

  • 可扩展的数据库。数据库分布在各个节点上,这样不仅可以提高系统可用性,还能够扩展到数十亿个文件,同时显著提升查询性能。
  • 命名空间反射。维护托管文件系统的反射,并将其用于数据管理操作,而不会影响文件系统元数据服务器的性能。
  • 支持可扩展元数据。管理员可以使用元数据来定制查询,使用可扩展元数据进行策略管理,以及从关联的文件创建个性化数据集。
  • 数据管护。用户可以将文件暂存到独立的后端数据库中,以便进行长期管护。之后在需要时,用户可以找到该文件并将其取回至不同的文件系统。
  • 查询引擎。管理员、用户和内置策略管理引擎均使用通用的查询工具来查找文件和筛选结果。
  • 原生文件系统集成。原生集成使用 Lustre 和 Spectrum Scale 的标准工具集来提高利用率并自动进行数据管理操作。

功能

HPC/AI 应用包含丰富的数据,而数据必须受到保护

HPE 数据管理框架 7 可创建无法更改的文件版本,并拍摄命名空间反射的快照。通过管理员策略进行管理,可以对恢复进行自定义,以降低从磁盘、磁带和/或通过 S3/云端从远程位置恢复时的 RTO 和成本。

因故障而丢失文件系统,会对高性能计算群集的可用性造成灾难性的影响。即使文件系统具备用于修复的工具,修复损坏文件系统的复杂性和所需的时间可能会大幅延长计算中断,从而导致难以满足 SLA 要求。

到目前为止,保护文件系统和数据不仅是一项成本高昂的投资,而且还要面临各种挑战,包括缺少备份时间窗口,备份实用程序未针对 PB 级并行文件系统进行充分优化,以及因扫描文件系统元数据而对性能造成的负面影响。

HPE DMF7 可创建无法更改的文件版本,并通过命名空间反射来拍摄文件系统状态的快照。两种操作都通过管理员策略进行管理。可以对恢复进行优化,以降低从磁盘、磁带和/或通过 S3/云端从远程位置恢复时的 RTO 和成本。

百万兆次级计算的兴起正在向传统 HPC 存储的极限发起挑战

HPE 数据管理框架 7 在管理存储中的可用空间时会自动将“过时”的文件移出高性能存储,创建一个容量更大的底层存储空间。管理员可轻松管理策略设置,从而减少采取强制措施的需求。

也许存储管理员对这种挑战带来的困境深有体会,他们努力在昂贵的高性能存储中保持足够的可用空间,而用户却毫无顾忌地用新文件填满文件系统。提高存储预算和/或删除用户文件并非实用的补救措施。

HPC/AI 应用程序所需的数据量和数据多样性,成为“存储野兽”背后的助推手,而不断增加的存储需求无疑将消耗大量的 HPC 预算。与此同时,传统的并行文件系统架构难以承受文件和索引节点数量无休止增长所带来的沉重负担。

最终,管理员需要在用户的配合下从文件系统中删除不使用的文件,保障元数据性能不会受到影响。在标记要移除的旧文件时,不需要移动任何数据,因为 HPE DMF7 已经在成本较低的后端存储中保存文件和元数据。

HPC/AI 存储环境多种多样,数据必须具备可移植性

HPE 数据管理框架 7 自动在存储系统层次结构中向下迁移文件,无需管理员交互,并可按需将文件向上调用至高性能存储。它使用并行数据移动程序和高速网络来移动文件,速度快于标准桌面实用程序。

管理 HPC/AI 数据移动是一项令人生畏的高难度任务。工具易用性不足且无法进行充分扩展,网络管道带宽有限,并且用户可能不具备所需的技能。当无法轻松地移动数据,并且移动数据所带来的收益不具备吸引力时,默认的选择是将其留在原地。

存储系统的性能、容量和成本得到优化,并且数据始终在这些层之间进行动态传输。应用程序的工作流程需要根据用户和应用程序的需求来使用数据,而管理存储成本和在层次结构中向下移动数据则为管理员带来持续不断的压力。

技术迁移是数据移动的常见驱动因素,HPE DMF7 可协助企业有效应对迁移过程中的风险。它自动将后端对象从陈旧、低效的硬盘/磁盘技术对象迁移到具有高密度、可靠性和性能的对象。

当陈旧的文件系统已无法满足业务需求时,管理员可将文件系统和文件移动到 HPE DMF7 后端设备上。在得到充分的保护之后,文件系统可以暂存到全新的命名空间,而文件可以暂存到新的命名空间或者仍然由 HPE DMF7 进行管理。

降低 HPC 存储成本意味着提高计算预算

HPE 数据管理框架 7 是 HPC 存储管理平台,可自动运行数据工作流程并降低 HPC 存储成本,因此,HPC 客户能够将宝贵的项目预算用于重要的基础设施资源。

快速增长的存储需求成为实现这一目标的阻碍因素。它促使 HPC 客户在昂贵的专有存储上复制文件,并横向扩展昂贵的存储层以应对数据的不断增长,并且将数据保留在昂贵的存储中似乎比移动数据更加方便和省心。

HPE DMF7 的主要目标是降低存储成本。HPC 客户不必购买昂贵的存储,HPE DMF7 让他们能够轻松地使用低成本存储来保护、扩展和移动数据,同时提高关键业务型 HPC 存储资源的利用率和性能。

HPC 数据的持续增长以及对用于 AI/机器学习的庞大数据集进行编排,正在推动存储容量需求实现前所未有的增长。此外,经济高效型闪存存储的采用,意味着控制成本仍然是 HPC 存储购买者的主要目标。

  • Linux® 是 Linus Torvalds 的注册商标。