DataOps
DataOps란?
DataOps는 기업 데이터에 대한 깊이 있는 인사이트를 얻기 위해 DevOps 접근법을 이용하는 데이터 관리 방식을 말합니다. 이러한 접근법을 통해 DevOps 및 데이터 과학자들이 힘을 모아 데이터 관리를 개선하고 빠른 혁신을 지원하는 분석을 개발할 수 있습니다.
DataOps의 작동 원리
클라우드 컴퓨팅의 부상, 데이터의 급증, 인공 지능 등으로 조직은 데이터와 인프라 관리를 대폭 개선해야 합니다. 이러한 과제에 직면한 많은 기업에서 유일한 해결책은 데이터 생산자와 데이터 소비자 사이의 장벽을 허무는 것임을 알게 되었습니다. 데이터 생산자와 소비자의 협업은 비즈니스 인텔리전스 및 기업 성공 촉진을 위해 데이터를 효과적으로 사용하는 중요한 데이터 관리 및 오케스트레이션 구조의 개발로 이어집니다.
전통적으로 데이터 관리와 DevOps는 각각 다른 부서에서 다루고 부서마다 고유한 문제가 있습니다. 두 부서 모두 업무가 점점 복잡해지고 있지만 효율적인 협업 방식을 찾기 힘을 합치지는 않습니다. 또한 책임 영역도 중첩되지 않습니다. 개발자는 코드의 품질에 집중하고 데이터 팀은 통합, 데이터 품질, 거버넌스를 다룹니다.
조직에서 DataOps가 필요한 이유
다수의 조직들이 데이터 관리로 어려움을 겪고 있으며 어떤 데이터가 저장, 복사, 보호되는지에 대한 가시성이 제한적입니다. 수십 년간 데이터는 다른 리포지토리로 제한되어 통합이 거의 불가능했습니다. 또한 유지관리, 테스트, 데이터 모델, 문서화, 로깅과 같은 데이터 관리 절차는 여전히 수동으로 완료됩니다.
동시에 이러한 조직은 운영 및 인프라 관리에 대한 중앙의 관점이 부족하여 스토리지 관리(구축, 프로비저닝, 업데이트)와 같은 인프라 관련 작업이 관리자 집약적인 사후 대응 절차로 유지되어 성능 및 리소스 최적화에 시간과 비용이 많이 듭니다.
이러한 문제는 모두 조직의 시간과 돈을 낭비하고 위험을 키울 수 있습니다. 문제를 해결하지 못할 경우 IT 전문가들이 급한 불을 끄느라 조직을 위한 혁신에 기여할 수 없게 됩니다. 엣지 투 클라우드에서 데이터의 증가로 이 문제가 악화되고 있을 뿐입니다.
또한 모든 조직에서 엄청난 양의 데이터를 보유하고 있지만, 정보의 분석 절차를 제대로 시작하는 조직은 거의 없습니다. 예를 들어 데이터 과학자는 여전히 시간의 약 45%를 데이터 로딩 및 삭제와 같은 데이터 준비 작업에 할애합니다. 조직에서 데이터를 통해 인텔리전스나 인사이트를 확보할 때 과거 중심적인 경우가 많습니다. 일괄 처리를 통해 수집하여 데이터베이스에 저장한 데이터는 보고서를 생성할 때 유용했지만 과거에 관한 것만 가능합니다.
DataOps의 이점
DataOps는 빅 데이터에서 비즈니스 가치를 창출하는 데에만 중점을 둡니다. 분산된 데이터 아키텍처의 구축 및 유지관리를 위한 민첩한 방식으로서 이 전략을 도입하는 조직에 상당한 이점을 제공합니다.
DataOps는 데이터 스프롤 제어, 데이터 보안 보장, 신속한 수익 흐름 생성 등에 도움이 됩니다. 또한 단일 위치에서 엄청난 양의 데이터를 처리, 저장, 액세스, 분석, 제시하여 디지털 트랜스포메이션을 가속할 수 있습니다. DataOps 전략으로의 전환으로 조직에서 다음과 같은 이점을 얻을 수 있습니다.
· 실시간 데이터 인사이트 제공
· 빅 데이터 처리 프레임워크에서 실행하는 데이터 과학 애플리케이션의 주기 단축
· 반복 가능한 자동화 및 통합된 프로세스 표준화
· 팀과 팀 구성원 간의 커뮤니케이션 및 협업 개선 장려
· 데이터 분석을 통해 가능한 모든 시나리오를 예측하여 투명성 향상
· 재현 가능한 프로세스 구축 및 가능한 경우 언제라도 코드 재사용
· 더 높은 데이터 품질 보장
· 데이터 소스 큐레이션 및 인프라 관리 절차의 자동화로 데이터 과학 팀의 ROI 향상
· 자동화된 거버넌스를 통해 데이터의 보안 및 데이터 보호 법률 준수 보장
· 내부와 외부에서 확장하는 데이터 제공 지원
조직은 DataOps 방식을 통해 다양한 소스에서 다양한 형태의 데이터를 사용하여 학습하고 실시간으로 더 많은 작업을 할 수 있습니다.
DataOps로 해결하기 위해 시도 중인 문제
데이터는 조직의 모든 활동을 촉진하기 때문에 IoT와 AI로 생성되는 엄청난 양의 데이터는 전례 없는 과제를 안겨줍니다. 조직이 경쟁력을 유지하려면 이 거대한 데이터 볼륨의 저장 및 활용과 관련된 문제를 해결해야 합니다.
이를 위해서는 기업이 접근 방식을 완전히 변경해야 합니다. 수동적이고 반복적인 데이터 관리 및 비효율적인 스토리지 인프라에서 데이터를 통해 실질적인 가치를 확보하기 위해 노력하는 DataOps 사고방식으로 전환해야 합니다. 이것이 비즈니스 민첩성과 속도를 높이면서 인프라 관리 오버헤드 및 비용을 줄이는 유일한 방법일 수 있습니다.
이는 데이터 볼륨이 계속 기하급수적으로 늘면서 워크로드와 스토리지 용량에 부담이 되고, 데이터 가시성이 떨어짐에 따라 데이터 관련 부담으로 성능 및 리소스 최적화가 더욱 악화되기 때문입니다. 다음과 같은 몇 가지 문제가 발생합니다.
· 점점 개별화되는 소스에서 데이터 수집: 중복 없이 데이터를 정리하는 방법은?
· 데이터 거버넌스 및 소유권: 감독 권한과 책임이 있는 사람은?
· 데이터 통합: 레거시 시스템, 데이터베이스, 데이터 레이크, 데이터 보관 창고에서 데이터 흐름을 간소화하는 방법은?
따라서 조직이 데이터 더미에 묻혀있는 인사이트를 확보하여 비즈니스를 전환하고 경쟁 우위를 강화하려면 어떻게 해야 할까요? 여기에서 DataOps가 필요합니다.
DataOps의 핵심 개념은 결정을 내리고 비즈니스를 운영하는 데 도움이 되는 올바른 단일 데이터 소스를 제공하는 방식으로 점점 증가하는 데이터 소스에서 여러 개의 데이터 파이프라인을 관리하는 문제를 해결하는 것입니다. DataOps는 다양한 소스의 데이터에 대한 통합된 보기를 생성하고, 엔터프라이즈 전반에 걸쳐 데이터 이용을 지원하며, 데이터 거버넌스를 개선합니다.
DataOps의 원칙
기본적으로 DataOps는 분석을 위한 데이터 어그리게이션, 준비, 관리, 개발의 라이프 사이클을 간소화합니다. 또한 데이터 개선 애플리케이션의 민첩성, 활용, 거버넌스, 품질과 관련하여 데이터 관리를 대폭 개선합니다.
DataOps 개념을 개발할 때 데이터 과학자들은 DataOps 선언문에 포함된 몇 가지 프로세스 관리 원칙에 동의했습니다. 주요 원칙은 다음과 같습니다.
· 작업 성능: 데이터 분석 성능 평가에서는 강력한 프레임워크 및 시스템에 정확한 데이터를 적용하는 효율성을 살펴봅니다.
· 분석은 코드: 데이터의 용도를 설명하는 것은 분석의 기본이며 생성되는 코드는 제공 가능한 인사이트를 결정합니다.
· 재현 가능하게 만들기: 데이터부터 하드웨어 및 소프트웨어 구성, 각 툴을 구성하는 코드에 이르기까지 프로세스의 모든 측면을 버전으로 관리해야 합니다.
· 폐기 가능한 환경: 구축이 간편한 격리되고 안전하며 폐기 가능한 기술 환경에서 생산 환경을 미러링하면서 비용을 최소화할 수 있습니다.
· 단순성과 효율성: 우수한 기술, 멋진 디자인, 간소화된 작업은 유연성 및 효과의 향상으로 이어집니다.
· 분석은 제조: 분석 인사이트를 효과적으로 제공하기 위해 분석 파이프라인은 린 제조(lean manufacturing)와 같이 프로세스 사고에 집중해야 합니다.
· 품질의 중요성: 오류를 방지(포카 요케)하기 위해서는 코드, 구성, 데이터의 이상 현상이나 보안 문제를 자동으로 탐지(지도카)하는 지속적인 피드백 및 분석 파이프라인이 작업자에게 필요합니다.
· 모니터링이 핵심: 예상하지 못한 변화를 탐지하고 운영 통계를 도출하려면 성능, 보안, 품질을 지속적으로 모니터링해야 합니다.
· 주기 개선: 결과적으로 제품을 재사용하는 반복 가능한 생산 프로세스를 통해 아이디어부터 개발, 릴리스에 이르기까지 유용한 분석 제품 제공을 프로세스 전반에서 빠르고 간편하게 완료해야 합니다.
HPE와 DataOps
HPE의 Unified DataOps가 구현된 지능형 데이터 플랫폼을 활용하여 물리적 인프라에서 데이터 및 인프라 관리를 추상화하는 SaaS 기반 컨트롤 플레인을 통해 IT가 데이터와 인프라를 관리할 수 있습니다.
이러한 아키텍처 방식은 온프레미스 소프트웨어 관리 및 유지에 따르는 복잡성, 세분화, 비용을 제거하고, 데이터 및 인프라 서비스의 구축, 관리, 확장, 제공을 조직에서 보이지 않게 합니다. 또한 이 방식은 전 세계에 분산된 데이터 인프라에서 단일 클릭 정책 및 API(애플리케이션 프로그래밍 인터페이스)를 통해 적절한 규모로 관리를 자동화합니다.
그리고 HPE GreenLake에서 제공되는 고유한 클라우드 네이티브 아키텍처로, 새로운 데이터 경험을 통해 장소와 상관없이 데이터에 클라우드 운영을 지원하고 데이터 관리 통합을 위한 기반을 구축합니다. 주요 혁신 사항은 다음과 같습니다.
· Data Services Cloud Console: 이 콘솔은 컨트롤 플레인을 기본 하드웨어에서 분리하고 클라우드로 이동하여 위치와 상관없이 데이터 인프라에 클라우드의 민첩성을 지원합니다. 또한 단일 웹 인터페이스에서의 통합 관리를 통해 엣지 투 클라우드에서 글로벌 가시성과 일관된 경험을 제공합니다. 이런 방식으로 제어를 추상화함으로써 대규모로 라이프 사이클 전반에서 고객의 인프라 관리 방식을 대폭 간소화하는 데이터 서비스 제품군을 지원합니다.
· 클라우드 데이터 서비스: 이 소프트웨어 구독 서비스 제품군은 장소와 상관없이 데이터 인프라의 글로벌 관리를 지원하는 AI 기반의 애플리케이션 중심 방식을 사용합니다. 구독자는 추측을 없애고 서비스 수준 목표를 적절한 규모로 최적화하는 셀프 서비스 및 온디맨드 프로비저닝으로 이점을 얻을 수 있습니다.
· HPE Alletra: All-NVMe 클라우드 네이티브 데이터 인프라의 새로운 포트폴리오입니다. Data Services Cloud Console에서 기본적으로 관리하는 HPE Alletra는 온디맨드 및 서비스형으로 클라우드 운영 경험을 제공합니다. 또한 유연한 아키텍처로 성능 저하 없이 모든 애플리케이션을 실행하도록 설계된 워크로드 최적화 시스템 포트폴리오를 제공합니다.
· HPE InfoSight: 업계에서 가장 발전되고 성숙한 AIOps 플랫폼으로, 성능, 가용성, 리소스 관리를 최적화하고 인프라를 보이지 않게 하는 AI 기반의 자율 데이터 운영으로 문제나 시간 낭비가 없습니다.