Требуется улучшить управление данными в среде хранения Linux® для высокопроизводительных вычислений и искусственного интеллекта? Платформа HPE Data Management Framework (DMF) обеспечивает более эффективное использование инфраструктуры хранения, ускоренное получение аналитических результатов, а также резервное копирование в масштабах петабайтов и восстановление данных до заданной контрольной точки. В новой архитектуре поддерживаются расширяемые метаданные, которые позволяют помечать данные атрибутами. Такие атрибуты можно указывать в запросах для более простого создания наборов данных. Наряду с добавлением меток к наборам данных, интеграцией планировщика заданий и встроенной системой политик, информационно емкие рабочие процессы можно оптимизировать благодаря автоматическому созданию наборов данных, их промежуточному хранению и перемещению для обработки. Такие функции автоматического управления данными обеспечивают эффективное использование инфраструктуры хранения. Для этого с определенных уровней удаляются устаревшие данные и выделяется виртуальное хранилище, не ограниченное по размеру. Требуемые данные автоматически извлекаются по мере необходимости, в результате чего внутренняя структура cистемы хранения данных выглядит намного объемнее.

Новые возможности

  • Обновленная архитектура с распределенной базой данных, способствующая производительности, безопасности и масштабируемости.
  • Усовершенствованное управление данными с расширяемыми метаданными, маркировкой наборов данных и интеграцией планировщика заданий.
  • Более полная интеграция файловой системы Lustre, облегчающая управление данными.

Возможности

Оптимизация потоков данных

Платформа HPE Data Management Framework предоставляет расширяемые метаданные, которые можно запрашивать, упрощая создание и обработку наборов данных. Например, с помощью атрибута расширенных метаданных можно определить географическое положение образцов данных, а затем с легкостью собирать данные из этого места.

Добавление меток упрощает операции с набором файлов данных благодаря тому, что на него можно с легкостью ссылаться. При этом собирать такой набор данных не требуется.

Интеграция планировщика заданий позволяет автоматически активировать задачи DMF по мере необходимости.

Более эффективное использование инфраструктуры хранения данных

Платформа HPE Data Management Framework способна переносить просроченные или устаревшие данные в архив, освобождая ресурсы для активных данных. Расходы на операции с данными сокращаются за счет их переноса на один из самых экономичных уровней хранения в зависимости от определенных пользователем политик.

Создайте безграничное виртуальное хранилище, используя автоматическую передачу и извлечение данных для архивации. В результате активные ресурсы хранения выглядят так, как будто содержат необходимые данные.

Резервное копирование и восстановление в масштабах петабайтов

Платформа HPE Data Management Framework (DMF) обеспечивает резервное копирование петабайтов данных, при котором резервные копии развертываются в течение дня (и ночи). В масштабах петабайтов создание резервных копий занимает слишком много времени и не вписывается в стандартное окно резервного копирования.

DMF сохраняет версии данных и обеспечивает точное их восстановление до заданной контрольной точки. Например, можно легко воспроизвести предыдущие процедуры выполнения заданий.

Файловые системы можно создавать, изменять, удалять и восстанавливать, удаляя при этом файлы для освобождения пространства в существующей файловой системе. Так как все данные файлов находятся в хранилище метаданных, при необходимости файлы можно восстановить в ту же или другую файловую систему.

Расширенная интеграция Lustre

Платформа HPE Data Management Framework дает расширенные возможности управления данными в файловой системе Lustre, включая управление файловой системой с помощью журнала изменений Lustre и инструмента копирования через доступные API-интерфейсы.

DMF облегчает процесс управления файлами Lustre, поскольку система политик Lustre Robinhood и отдельные базы данных для отслеживания больше не требуются.

  • Linux® является зарегистрированным товарным знаком Линуса Торвальдса.