사용자의 스토리지 요구 사항에 맞춰 AI와 HPC 통합
이 융합으로 인해 HPC 스토리지에 새로운 요구 사항이 생겨났습니다. 두 워크로드의 입력/출력 패턴 패턴이 완전히 다르기 때문입니다. 그리고 바로 지금 일어나고 있습니다. 독립 분석 기업인 Intersect360에서 수행한 최근 연구에 따르면, 오늘날 HPC 사용자 중 66%는 이미 기계 학습 프로그램을 실행하고 있습니다. Hyperion Research에서는 현재의 방향과 속도라면, 공공 부문 기관과 기업의 HPC 스토리지 지출액이 앞으로 3년 동안 HPC 컴퓨팅 지출액보다 57% 빠르게 성장하리라 전망합니다.
HPE 스토리지: HPC와 AI를 통합하여 성능 향상
| | 기존의 HPC 클러스터 | 새로운 융합의 시대 | 기존의 AI POD |
|---|---|---|---|
기본 워크로드 | 모델링 및 시뮬레이션 | 둘 다 | 기계 학습/딥 러닝 |
컴퓨팅 노드 유형
| 고집적 CPU 노드(HPE Apollo 2000 | 둘 다 | 고집적 GPU 노드(HPE Apollo 6500 |
컴퓨팅 노드 수 | 수백~수천 개 | 수백~수천 개 | 수십 개 |
통상적 상호 연결 | InfiniBand | 둘 다 | Gigabit Ethernet |
기본 I/O 패턴 | 쓰기 전용 | 둘 다 | 읽기 전용 |
스토리지 용량 측정 단위 | 페타바이트 | 페타바이트 | 테라바이트 |
단일 네임스페이스 내 스토리지 확장성 | 최대 엑사바이트까지 | 최대 엑사바이트까지 | 최대 페타바이트까지 |
일반 스토리지 | HDD 기반 병렬 파일 시스템 스토리지 | Cray ClusterStor E1000 | 올플래시 엔터프라이즈 NAS/NFS 스토리지 |
스토리지의 적합한 영역 | 초당 최대 테라바이트 속도로 이루어지는 순차적 대형 파일 처리 | 초당 최대 테라바이트 속도로 이루어지는 모든 크기의 순차적 및 랜덤 파일 처리 | 초당 최대 수백 기가바이트 속도로 이루어지는 모든 크기의 순차적 및 랜덤 파일 처리 |
최적화 대상 | 쓰기 | 둘 다 | 읽기 |
스토리지 아키텍처 | 디스크리스 컴퓨팅 노드 | 디스크리스 컴퓨팅 노드 | 컴퓨팅 노드의 로컬 SSD |
스토리지를 생성 및 지원하는 주체 | 컴퓨팅 시스템 벤더 | 컴퓨팅 시스템 벤더 | 타사 스토리지 벤더 |
테라바이트당 가격 | $ | $$ | $$$$$ |
새로운 시대를 위한 병렬 스토리지
HPE는 대규모 모델링 및 시뮬레이션 또는 대규모 AI 모델을 실행하는 경우에 적합한 스토리지 시스템을 제공합니다.
이 스토리지 시스템은 XD 슈퍼컴퓨터 또는 HPE ProLiant Compute 클러스터에서 실행하는 대규모 모델링 및 시뮬레이션과 대규모 AI 모델에 최적화되었습니다. Oak Ridge 국립 연구소에서 사용하는 세계 최대 규모의 POSIX 호환 파일 시스템이자 GPU가 37,632개인 슈퍼컴퓨터를 지원하는 Orion 파일 시스템은 이 시스템을 바탕으로 구축되었습니다.
계층형의 데이터 관리 아키텍처를 지원함으로써 HPC 및 AI 데이터 관리를 최적화합니다. HPE 데이터 관리 프레임워크는 모든 스토리지 계층 구조에서 총 소유 비용 절감을 위해 스토리지 리소스 활용을 최적화하고, 오랜 시간에 걸쳐 검증 및 자동화된 데이터 이동으로 데이터 워크플로를 간소화합니다. 이제 Lustre에 더해 IBM Spectrum Scale 및 NFS도 지원합니다.