HPC 클러스터
HPC 클러스터란?
HPC 클러스터(또는 고성능 컴퓨팅 클러스터)는 병렬 성능과 고가용성으로 많은 양의 데이터를 빠른 속도로 처리하도록 구성된 대규모의 강력한 컴퓨터 그룹과 같은 특수 하드웨어와 분산 처리 소프트웨어 프레임워크의 조합을 말합니다.
HPC 클러스터 구축 방법
HPC 클러스터 구축은 비교적 단순하지만, 조직에서 매일 필요한 컴퓨팅 성능의 수준을 파악하고 설치 규모를 판단해야 합니다. 필요한 서버 수, 워크로드를 효율적으로 관리할 수 있는 소프트웨어 계층, 클러스터를 배치할 장소, 시스템의 전원 및 냉각 요건 등을 신중하게 평가해야 합니다. 이러한 사항을 결정한 후에 다음 단계에 따라 클러스터 구축을 시작할 수 있습니다.
- 컴퓨팅 노드 구축: 모니터링 및 리소스 관리용 툴과 고속 상호 연결 드라이버/소프트웨어를 설치하여 헤드 노드를 구성합니다. 공유 클러스터 디렉토리를 생성하고, 컴퓨팅 노드 이미지를 캡처한 다음 워크로드를 실행할 나머지 클러스터에 이미지를 복제합니다.
- IP 주소 구성: 효율성 극대화를 위해 HPC 클러스터에 전용 IP 서브넷을 사용하는 고속 상호 연결 네트워크가 포함됩니다. 작업자 노드를 헤드 노드에 연결할 때 각 노드에 추가 IP 주소를 할당하게 됩니다.
- CMU 사용자 그룹으로 작업 구성: 워크로드가 대기열에 도착하면 현재 실행 중인 각 작업에 대해 CMU 사용자 그룹을 동적으로 생성하는 스크립트가 필요합니다.
HPC 클러스터의 주요 구성요소
HPC 클러스터의 기본적인 구성요소 세 가지는 컴퓨팅 하드웨어, 소프트웨어, 시설이며, 각각 요건이 다릅니다.
컴퓨팅 하드웨어
컴퓨팅 하드웨어에 서버, 스토리지, 전용 네트워크가 포함됩니다. 일반적으로 기본 노드, 작업자 노드, 클라이언트 노드 역할을 하는 서버를 3개 이상 프로비저닝해야 합니다. 제한된 설치 환경에서 각각 더 많은 컴퓨팅 용량을 확보하기 위해 프로세서와 스토리지가 충분한 하이엔드 서버에 투자해야 합니다. 하지만 다중 서버를 가상화함으로써 클러스터에서 더 많은 컴퓨팅 성능을 이용할 수 있도록 규모를 조정할 수 있습니다. 컴퓨팅 하드웨어를 지원하는 네트워킹 인프라는 기가비트 이더넷, NIC, 스위치와 같은 고대역폭 TCP/IP 네트워크 장비가 필요합니다.
소프트웨어
소프트웨어 계층에 HPC 클러스터의 모니터링, 프로비저닝, 관리에 사용할 툴이 포함됩니다. 소프트웨어 스택은 라이브러리, 컴파일러, 디버거, 파일 시스템으로 구성되어 클러스터 관리 기능을 수행합니다. 기능은 동일하지만 내결함성을 갖추고 실패한 시스템을 탐지하여 자동으로 트래픽을 이용 가능한 시스템으로 리디렉션하는 Hadoop과 같은 HPC 프레임워크 도입도 고려할 수 있습니다.
시설
HPC 클러스터 배치를 위해 블레이드 방식 서버 최대 72개와 TOR 스위치 5개를 포함하여 무게가 최대 816kg인 서버 랙의 무게에 적합한 물리적 공간이 필요합니다. 또한 최대 43kW가 필요한 서버의 작동 및 냉각에 충분한 전력이 필요합니다.
HPE와 HPC 클러스터
HPE는 모든 규모의 조직이 효율성 향상, 중단 시간 감소, 생산성 강화의 효과를 얻는 데 도움이 되는 업계 최고 수준의 HPC 솔루션 포트폴리오를 제공합니다.
HPE 성능 클러스터 관리자가 최고 성능 유지를 위해 HPE 클러스터 관리에 필요한 모든 것을 제공합니다. HPE HPC/AI 시스템용으로 완전히 통합된 포괄적인 툴 세트를 제공하며, 전 세계에서 수백 개의 기업 고객이 10년 이상 사용하고 있는 유연하고 사용하기 간편한 시스템 관리 솔루션입니다. 온프레미스 및 하이브리드 HPC 환경에서 노드 수십 개부터 엑사스케일까지 다양한 규모의 관리 시스템으로 확장할 수 있으며, 몇 분 만에 생산을 시작하고 정기적으로 상태 검사와 테스트를 실행하여 이용 가능한 관련 자료의 활용을 극대화할 수 있습니다.
HPE Slingshot은 HPC 및 AI 클러스터를 위한 최신 고성능 상호 연결로서 HPC, AI/ML, 데이터 분석 애플리케이션을 위한 업계 최고의 성능, 대역폭, 짧은 대기 시간을 제공합니다. 또한 각 스위치 간 경로에서 로드의 실시간 정보를 추적하고, 트래픽을 자동으로 다시 라우팅하여 로드의 균형을 유지합니다.
HPE GreenLake는 온프레미스에 클라우드 서비스 소비 모델이 있는 HPC 환경에 필요한 유연성, 확장성, 관리 기능을 제공합니다. 기술을 갖춘 HPE 전문가의 도움을 받아 적합한 환경을 구현 및 운영하고, 자체 HPC 아키텍처 유지관리에 따르는 비용과 복잡성을 줄일 수 있습니다.