HPC as a service를 보편화한 Pittsburgh Supercomputing Center

HPC(고성능 컴퓨팅)는 질병 치료, 환경 보호, 우주에 대한 이해도 심화에 필요한 일대 혁신을 일으키는 강력한 도구가 될 수 있습니다. 하지만 그 효과를 극대화하려면 연구자와 과학자들이 HPC에 액세스할 수 있어야 합니다. 따라서 Pittsburgh Supercomputing Center는 HPE 기술을 활용하여 노트북처럼 쉽게 사용할 수 있는 슈퍼컴퓨터인 Bridges를 구축했습니다.

Pittsburgh Supercomputing Center 로고

AI 지원 강화

지금까지 AI는 알고리즘 실행에 필요한 엄청난 양의 데이터와 처리 능력으로 인해 제한되었습니다. Pittsburgh Supercomputing Center의 Bridges 슈퍼컴퓨터는 연구자들이 중요한 실제 문제를 해결하도록 지원합니다.

동영상 재생
2:48
슈퍼컴퓨팅 포커 동영상 재생

Pittsburgh의 카지노에서 세계 최고의 포커 플레이어 4명과 Libratus라는 AI 프로그램이 포커 경기를 합니다. 우승자는 누굴까요? Libratus에 걸어보세요.

CMU(Carnegie Mellon University) 연구자들이 작성한 AI 프로그램이 포커 전략을 계산했습니다. 20일간 진행된 대회 기간 중 매일 밤 Libratus는 포커 플레이어들의 변화된 전략에 적응할 수 있도록 그날 경기 내용을 분석했습니다. 이 AI는 이제 최고의 인간 포커 플레이어를 능가합니다. AI의 가능성은 1960년대부터 등장했지만 새로운 AI 알고리즘 덕분에 지난 몇 년간 AI 분야에서 엄청난 발전이 있었습니다.

Libratus 프로그램에는 Bridges라는 새로운 유형의 슈퍼컴퓨터가 사용되었습니다. NSF(National Science Foundation)의 자금 지원을 받은 Bridges는 PSC(Pittsburgh Supercomputing Center)가 AI를 HPC와 빅 데이터에 통합하여 전국의 연구자들이 이용할 수 있도록 설계되었습니다. Bridges는 매우 강력한 성능을 제공하며 전문적인 프로그래밍 기술이 필요하지 않은 소프트웨어 인터페이스를 통해 액세스 가능합니다. PSC는 유전체학에서 사회 과학뿐만 아니라 합의에 따라 산업 분야에 이르는 다양한 범위의 개방형 연구를 위해 Bridges를 무료로 제공합니다.

위험 부담은 매우 큽니다.  헤즈업 노리미트 텍사스 홀덤(Heads-up No-Limit Texas Hold’em) 포커가 불완전한 정보를 바탕으로 하는 전략 추론 알고리즘의 진보를 평가하는 데 있어 선도적인 벤치마크가 되었지만, 이를 해결하기 위해 사용된 알고리즘은 애플리케이션에 독립적이며 다수의 중요한 전략 추론 설정에 적용됩니다. 실질적인 보상은 인간과 지구를 위한 것입니다. Bridges는 슈퍼컴퓨팅을 이용 가능하고 사용자 친화적으로 만들어 보편화합니다. 매우 엄격한 피어 검토 과정을 통해 가장 강력한 제안만 선택됩니다. 연구자들은 Bridges를 사용하여 에너지 그리드의 효율성을 높이는 방법, 다양한 종이 환경 변화에 대응하는 방법, 폐질환의 원인 등 한 번에 해결하기에는 너무 큰 영향을 미치는 중요한 문제를 연구합니다.

1

최고의 포커 플레이어 4명을 이긴 컴퓨터

$1,720만

National Science Foundation의 Bridges 자금 지원
  • "포커 프로젝트는 불완전한 정보를 바탕으로 하는 전략 추론을 연구했습니다. 실제 적용 사례에는 협상, 비즈니스 전략 최적화, 전략적 가격 책정, 사이버 보안, 의학적 치료 계획(사람의 T 세포를 조정하여 암을 치유하는 방법 등)이 있습니다."

    Carnegie Mellon University의 Electronic Marketplaces Laboratory 설립자 겸 이사, Strategic Machine, Inc 설립자 겸 CEO인 Tuomas Sandholm 교수

중요한 문제 해결을 위한 슈퍼컴퓨팅

Pittsburgh Supercomputing Center는 복잡한 질병 치료, 환경 보호 등 과학과 공학 분야에서 매우 까다로운 문제를 해결하기 위해 연구자들에게 슈퍼컴퓨터 액세스 권한을 제공합니다.

복잡한 수학 문제를 나타내는 추상적 이미지

PSC는 전국의 대학, 정부, 기업 연구자들에게 HPC, 데이터 분석 및 관리, 커뮤니케이션을 위한 매우 강력하고 값비싼 시스템에 액세스할 수 있는 권한을 제공합니다.

PSC는 복잡한 질병 치료, 환경 보호, 인류에게 닥친 중요한 문제를 포함하여 과학과 공학 분야의 까다로운 문제를 해결할 수 있도록 연구자들을 지원합니다.

National Science Foundation 사이버 인프라 프로그램인 XSEDE(Extreme Science and Engineering Discovery Environment)의 주요 파트너인 Pittsburgh Supercomputing Center는 Carnegie Mellon University와 University of Pittsburgh의 공동 조직으로, 연방 기관, 펜실베이니아 주, 민간 기업의 지원을 받습니다.

1986

설립연도

6,600

지원 대상 주요 과학자 및 공학자

10,824

연구 보조금 건수
  • "사용자들은 질병, 지진, 경제, 보안 등 중요한 문제를 해결하기 위해 노력하고 있습니다. 그들은 현재와 미래의 애플리케이션에 적합하게 구성된 PSC의 통합 HPC/HPDA 시스템을 사용합니다."

    Pittsburgh Supercomputing Center 임시 이사인 Nick Nystrom

프로그래머가 아닌 사람들에게 고급 슈퍼컴퓨팅 제공

PSC는 HPC 리소스를 다양한 연구 커뮤니티에서 이용할 수 있기를 원했습니다. 이것은 핵심 기술이 프로그래밍이 아닌 과학과 연구인 사용자를 위한 슈퍼컴퓨터를 구축하는 것을 의미했습니다.

컴퓨팅의 복잡성을 나타내는 추상적 이미지

사이버 공격 감지. 유방암 치료. 심한 폭풍 예측. 까다로운 문제들의 공통점 중 하나는 컴퓨팅의 복잡성입니다. 일반 컴퓨터로는 연구자들이 이해하는 데 도움이 될 정도의 엄청난 양의 계산을 처리할 수 없습니다. 슈퍼컴퓨터라고 알려진 고성능 시스템을 사용하는 대안은 구축과 관리에 큰 비용이 들고 복잡한 경우가 많습니다.

바로 이 점에서 PSC가 중요합니다. National Science Foundation과 다른 조직의 지원을 받는 PSC는 신경과학, 암의 원인, 기상학, 국가 경제 등 모든 분야의 연구자들에게 무료로 HPC 리소스를 제공합니다.

과거 PSC의 사용자 기반은 공학자, 화학자, 물리학자 등 일반적으로 어느 정도의 전문 HPC 기술을 보유한 사람이 대부분이었습니다. 현재 PSC는 해당 분야에서는 전문가이지만 컴퓨터 프로그래밍 경험이 전혀 없는 연구자들에게 리소스를 제공하고 있습니다. 새로운 커뮤니티를 지원하기 위해 PSC는 연구자들이 노트북 PC에서 익숙하게 사용하는 소프트웨어 인터페이스를 통해 HPC 성능을 제공합니다.

0

개방형 연구에서 PSC 리소스 사용 비용

0

HPC 사용에 필요한 컴퓨터 프로그래밍
  • "사용 경험이 전혀 없는 사람에게 HPC를 제공하길 원했습니다. 지금은 누구나 유전체 데이터베이스, 소셜 미디어 데이터 등 대규모 데이터 소스에 액세스할 수 있습니다. 사용자 친화적 슈퍼컴퓨팅이 이러한 데이터를 사용하여 복잡한 문제를 해결하는 데 도움이 됩니다."

    Pittsburgh Supercomputing Center의 Nick Nystrom

HPC as a service 제공

Bridges 구축 과정에서 PSC는 혁신적인 수준의 슈퍼컴퓨팅 스토리지, 메모리, 처리 성능을 통합하여 연구자 대부분에게 익숙한 데스크탑 인터페이스를 통해 지원해야 했습니다.

Bridges라는 새로운 슈퍼컴퓨터 계획 단계에서 PSC는 두 가지 기술 문제에 직면했습니다.

하나는 혁신적인 수준의 슈퍼컴퓨팅 스토리지, 메모리, 처리 성능을 통합하는 것이었습니다. Bridges는 예를 들어 작은 DNA 조각에서 나온 대규모 유전체 서열의 조립 시간을 며칠에서 몇 시간으로 단축하는 데 엄청난 양의 메모리를 필요로 합니다. 여러 주기에 걸쳐 건물 수백 개의 에너지 사용량을 계산하는 것처럼 작은 구성요소로 분리된 문제에 대해 신속한 계산을 수행해야 합니다. Libratus가 포커 게임에서 사용하고 생물학, 화학, 재료공학의 문제에 적용한 것과 같은 AI 기능이 필요합니다.

다른 문제는 연구자들에게 익숙한 애플리케이션, 언어, 연구 패러다임을 통해 이러한 기능을 제공하는 것이었습니다. Python, R, MATLAB 등의 소프트웨어 툴과 수만 명의 연구자가 사용하는 브라우저 기반 게이트웨이 등이 포함됩니다. 장벽이 없는 액세스를 통해 연구자들은 전문 HPC 기술을 배우지 않고도 프로젝트를 진행할 수 있습니다.

PSC는 데스크탑처럼 편리하며 탁월한 성능을 제공하고 HPC as a service 구축을 시작합니다.

1.35

페타플롭 컴퓨팅 속도

10PB

고급 데이터 관리 및 커뮤니티 데이터 수집을 지원하는 영구 스토리지

96

하이엔드 GPU
  • "우리는 연구자들이 다른 방법으로는 실행할 수 없는 분석을 위해 대규모 메모리, GPU, 많은 수의 노드를 통합하길 원했습니다. 그리고 프로그래머가 될 필요가 없도록 웹 브라우저에 액세스할 수 있는 권한을 주고자 했습니다."

    Pittsburgh Supercomputing Center 임시 이사인 Nick Nystrom

노트북처럼 간편하게 슈퍼컴퓨팅 기능 사용

Bridges는 HPC와 빅 데이터를 결합하여 다양한 커뮤니티를 지원할 수 있는 사용이 쉬운 특별한 리소스입니다.

Bridges 슈퍼컴퓨터를 나타내는 추상적 이미지

PSC의 플래그십 HPC 시스템인 Bridges는 자연과학, 생물학, 경제학, 비즈니스 및 정책, 그리고 인문학 분야에서도 발견을 가속화하는 애플리케이션을 실행합니다.

Bridges는 HPC, AI, 빅 데이터를 결합하여 다양한 커뮤니티를 지원할 수 있는 유일한 페타스케일 리소스입니다. 상호 연결된 노드와 활성 스토리지 시스템은 데이터 분석, 시뮬레이션, 워크플로 및 게이트웨이, 상호 작용, 병렬 컴퓨팅, Spark 프로세싱 엔진 및 Hadoop 프로그래밍 프레임워크를 활용할 수 있는 탁월한 유연성을 제공합니다. NVIDIA GPU(그래픽 처리 장치)는 딥 러닝을 지원하고 시뮬레이션을 가속화합니다. Bridges는 이기종 시스템입니다. 즉, PSC와 Intel의 새로운 옴니패스 아키텍처에 작성된 소프트웨어 덕분에 과학자들은 슈퍼컴퓨터의 각기 다른 부분을 다양한 컴퓨팅 문제에 적용하여 기존 애플리케이션을 생산적으로 재사용하고 결과 도출을 가속화할 수 있습니다.

또한 Bridges는 기존 HPC 사용자와 새로운 사용자 모두에게 익숙하고 편리한 소프트웨어와 환경을 지원하도록 설계되었습니다. 노트북처럼 간편한 슈퍼컴퓨팅입니다.

~400

현재 Bridges를 사용하는 연구자 수

153

신장 기증 교환을 최적화하는 미국의 이식 센터 수
  • "HPE Pointnext와 함께 작업하면서 옴니패스 아키텍처와 결합된 정확한 Hewlett Packard Enterprise 서버 솔루션을 확인하여 Bridges에 대한 비전을 실현했습니다."

    Pittsburgh Supercomputing Center 임시 이사인 Nick Nystrom

모두가 잭팟 당첨자

다양한 프로젝트로 중요한 새로운 인사이트를 얻을 수 있습니다.

1986년부터 53개 지역에 있는 1,525개의 제휴 기관과 연구 센터에서 36,000명이 넘는 사용자, 6,800명의 최고 책임 과학자 및 공학자가 11,000건의 보조금을 받아 PSC 컴퓨팅 리소스를 사용했습니다. 세대가 지날수록 메모리 확장과 처리 속도 향상으로 데이터 스토리지와 접근성이 개선되었습니다. Bridges는 아직 최고입니다.

연구자들은 일 년에 4번 Bridges 사용을 신청할 수 있습니다. 이러한 방식으로 다양한 프로젝트가 시작되었습니다. 한 팀은 유전체, 이미징, 빅 데이터 등을 사용하여 암, 폐질환, 뇌 기능 이상을 유발하는 요인을 연구합니다. 다른 팀은 수십만 개의 과거 문서를 통해 1700년대 이후 미국 흑인 여성의 역사와 삶에 대한 단서를 찾고 있습니다. 중성미자 행동을 통해 기본 물리 법칙과 우주의 기원에 대한 새로운 인사이트를 탐구하는 또 다른 팀도 있습니다.

포커가 아닌 생명에 관한 연구입니다. 잭팟 당첨자는 인류입니다.

  • "철학, 영어, 정치과학, 경제학, 비즈니스 분야에서 각자 모든 생명에 영향을 미치는 문제를 해결하며 완전히 새로운 방식으로 기여하고 있습니다."

    Pittsburgh Supercomputing Center 임시 이사인 Nick Nystrom

솔루션 레시피

새로운 슈퍼컴퓨팅의 시대

PSC가 설계하고 HPE Pointnext가 PCS의 사양에 적합하게 구축, 랙 설치, 테스트한 Bridges는 HPE, Intel, NVIDIA의 고급 기술을 활용하여 새로운 슈퍼컴퓨팅 시대에서 세계의 까다로운 문제를 해결합니다.