HPC 워크로드

HPC 워크로드란?

HPC 워크로드의 다양한 구성요소

모든 HPC 워크로드가 서로 다르며 작업을 완료하는 데 필요한 CPU와 예약된 메모리 수준은 작업의 기간, 간격, 규모 등 관련된 노력에 따라 달라집니다. 가장 기본적인 수준에서는 하나의 워크로드 또는 쿼리가 입력(I)을 수집하고 출력(O)을 생성합니다. 이는 다음과 같은 구성요소로 나눌 수 있습니다.

· 요청: 워크로드에서 '작업'이란 애플리케이션에 요청되는 내용을 의미합니다. 여기에는 일련의 읽기 및 쓰기 작업(I/O 명령)과 스토리지 시스템 관련 페이로드가 포함됩니다.

· 애플리케이션 및 VM: 모든 워크로드는 작업을 달성하는 데 사용되는 항목 또는 애플리케이션의 지속적인 노력에 따라 결정됩니다. 애플리케이션이 데이터를 처리하는 방식과 소프트웨어에 내재된 한계는 워크로드 자체의 특성을 형성합니다.

· 작업 세트: 워크로드 중에 생성되거나 소비되는 데이터의 양을 작업 세트라고 합니다. 일반적인 HPC 워크로드에는 대부분 비정형 형식인 엄청난 양의 데이터가 소모됩니다. 과학자와 엔지니어가 워크로드의 정확도를 미세 튜닝하기 위해 노력함에 따라 HPC 모델에서 사용하는 데이터가 기하급수적으로 증가하고 있습니다.

· 듀티 사이클: 일련의 프로세스가 발생한 후 다시 발생하는 경우 이를 듀티 사이클이라고 합니다. 그러한 노력의 대략적인 반복 시간은 데이터를 사용하는 사람과 애플리케이션의 목적 그리고 스토리지 성능에 따라 크게 달라집니다.

기존 HPC 시스템은 CLI(명령줄 인터페이스)를 사용하여 작업의 제출 및 관리를 관리합니다. HPC 워크로드를 관리하는 프로세스는 다른 데이터 워크로드와 마찬가지로 관련 데이터를 식별하고 준비한 다음 요청을 제출하고 애플리케이션을 실행하며 생성된 결과를 수집하여 저장하는 것으로 시작됩니다.

데이터 준비

HPC 워크로드의 정확도는 데이터 정리에 달려 있습니다. 조직에서는 분석할 데이터셋에 대한 데이터 스크러빙을 수행하여 부정확하거나 불완전하거나 형식이 잘못되었거나 중복된 데이터를 업데이트/제거해야 합니다.

데이터 접속 설정

HPC 워크로드는 데이터에 쉽고 빠르게 액세스할 수 있어야 하는 반면 조직은 안전하고 효율적인 방식으로 데이터를 제공하는 정책을 구현해야 합니다. 데이터 레이크, 데이터 패브릭, 레이크하우스 아키텍처, 신경망 등 사용되는 모든 리소스에 대해 동일한 암호화 및 액세스 제어가 실행됩니다.

알고리즘 선택

사용할 알고리즘을 선택한 다음 분석 모델을 구축, 교육, 배포하려면 광범위한 전문 지식 및 기술이 필요하며 요청을 제출하는 데이터 과학자가 정의해야 합니다.

쿼리 실행

많은 애플리케이션이 HPC에서 결과를 생성하는 데 자주 활용됩니다. Apache Hadoop, Databricks, Cloudera와 같은 분산 컴퓨팅 소프트웨어 플랫폼은 이러한 복잡한 분석을 분할하고 구성하는 데 사용됩니다.

HPC 워크로드에는 엄청난 양의 데이터를 살펴보고 추세를 검색하고 예측을 내리며 운영이나 관계에 대한 권장 조정을 생성하는 여러 카테고리가 있습니다.

인공 지능

간단히 말해 AI(인공 지능)는 머신에서 정보를 처리할 때 인간의 지능을 시뮬레이션하는 것으로, 학습, 추론, 자체 수정을 포함하여 인간이 매일 수십억 개의 결정을 내리는 데 사용하는 인지 기술에 초점을 둡니다. 학습 자체에는 입력 데이터를 받아서 이를 실행 가능한 정보로 전환하는 규칙을 만드는 것이 포함됩니다. 추론에는 원하는 결과를 얻기 위해 사용할 올바른 알고리즘을 결정하는 것이 포함됩니다. 자체 수정은 AI 프로세스에서 가장 중요한 부분으로, 각 결정은 알고리즘을 지속적으로 미세 튜닝하는 데 도움이 됩니다.

기계 학습

인공 지능의 한 유형인 ML(기계 학습)은 알고리즘을 사용하여 결과를 예측하는 정확도를 점점 높이고 있습니다. ML이 가장 일반적으로 사용되는 분야는 Netflix, Spotify, Facebook과 같은 미디어 기업의 추천 엔진입니다. 기타 사용 사례로는 고객 관계 관리 시스템, 비즈니스 인텔리전스, 가상 비서, 인적 자원 정보 시스템, 자율 주행 자동차 등이 있습니다.