읽는 시간: 5분 50초 | 게시일: 2025년 10월 1일
설명 가능한 AI XAI(설명 가능한 AI)란?
설명 가능한 AI는 사용자가 AI의 ML(기계 학습) 알고리즘을 통해 생성되는 결과와 산출물을 이해하고 신뢰할 수 있게 하는 일련의 프로세스와 방법입니다. XAI는 사용자의 도입부터 거버넌스, 시스템 개발에 이르기까지 다양한 우려와 과제를 해결하기 위해 AI/ML 출력에 대한 설명을 제공합니다. 이 ‘설명 가능성’의 핵심 목표는 시장에서 AI의 광범위한 도입과 혜택을 촉진하는 데 필요한 신뢰와 확신을 얻는 것입니다. 그 밖에 관련성 있는 새로운 이니셔티브로는 신뢰할 수 있는 AI와 책임 있는 AI가 있습니다.
설명 가능한 AI의 구현 방법
미국 국립 표준 기술 연구소(NIST)는 XAI의 네 가지 원칙을 다음과 같이 설명합니다.
- 설명: 시스템은 모든 출력에 대해 동반되는 증거나 이유를 제공합니다.
- 의미 전달: 시스템은 개별 사용자가 이해할 수 있는 설명을 제공합니다.
- 설명의 정확성: 설명은 시스템이 출력을 생성하는 프로세스를 올바르게 반영합니다.
- 지식 한계: 시스템은 설계된 조건에서만 작동하거나 출력이 충분한 신뢰 수준에 도달했을 때만 작동합니다.
NIST는 설명이 간단한 것에서 복잡한 것까지 다양하며 해당 소비자에 따라 달라질 수 있다고 명시합니다. 또한 다음의 5가지 비포괄적인 샘플 설명 카테고리를 통해 일부 설명 유형을 보여줍니다.
- 사용자 이점
- 사회적 수용
- 규제 및 컴플라이언스
- 시스템 개발
- 소유자 이점
설명 가능한 AI가 중요한 이유
설명 가능한 AI는 자동화 시스템에 대한 신뢰를 키우고 확보하며 유지하는 데 중요한 구성요소입니다. 신뢰가 없는 AI, 특히 AIOps(IT 운영을 위한 AI)는 완전히 수용되지 못할 것이며 현대 시스템의 규모와 복잡성이 수동 작업과 기존 자동화로 감당할 수 있는 수준을 훨씬 뛰어넘게 될 것입니다.
신뢰는 AI의 역할이 미약하거나 없는 제품이나 서비스를 AI 기반이라고 주장하는 ‘AI 워싱’(AI-washing)을 명확히 드러내어 실무자와 고객 모두가 AI에 대한 적절한 검증을 수행할 수 있도록 돕습니다. AI에 대한 신뢰와 확신을 구축하는 것은 AI 도입 범위와 속도에 영향을 미치며, 이는 결국 AI의 이점을 얼마나 빠르고 광범위하게 실현할 수 있는지를 결정합니다.
어떤 시스템에 답을 찾거나 결정을 내리도록 지시할 때, 특히 실제 세계에 영향을 미치는 결정을 내릴 때 시스템이 어떻게 결정에 도달했는지, 결과에 어떤 영향을 미치는지 또는 왜 조치가 필요하다고 판단했는지 설명할 수 있어야 합니다.
설명 가능한 AI의 이점
설명 가능한 AI의 이점은 다차원적입니다. 이는 정보에 입각한 의사 결정, 위험 감소, 신뢰도와 사용자 도입 증가, 더 나은 거버넌스, 시스템 개선 속도 향상 그리고 전 세계에서 AI의 전반적인 발전 및 유용성과 관련이 있습니다.
설명 가능한 AI로 해결할 수 있는 문제
많은 AI 및 ML 모델은 불투명하고 그 결과를 설명할 수 없습니다. AI 기술의 신뢰, 발전, 도입을 위해서는 특정 경로를 선택한 이유 또는 출력이 생성된 방식을 밝히고 설명하는 것이 중요합니다.
데이터, 모델, 프로세스를 투명하게 드러내면 투명하고 타당한 추론을 바탕으로 시스템을 최적화할 수 있는 통찰력과 가시성을 얻을 수 있습니다. 가장 중요한 점은 설명 가능성을 통해 의사소통이 더 쉬워지고 그에 따라 결함, 편향, 위험을 완화하거나 제거할 수 있다는 것입니다.
설명 가능한 AI로 투명성을 높이고 신뢰를 구축하는 방식
유용성을 높이려면 결국 초기의 원시 데이터가 제안된 작업이나 실행된 작업으로 이어져야 합니다. 처음부터 사용자에게 완전히 자율적인 워크플로를 신뢰하도록 요구하는 것이 큰 부담이 될 수 있으므로 사용자가 하위 계층부터 지원 계층을 단계별로 살펴볼 수 있도록 하는 것이 좋습니다. UI(사용자 인터페이스) 워크플로가 이벤트를 계층별로 다시 살펴보며 원시 입력 데이터까지 모든 계층을 추적하면, 투명성과 신뢰도가 향상됩니다.
이상적으로 프레임워크는 해당 분야 전문가의 회의적인 시각을 충족할 정도로 깊이 있는 검증이 가능하면서 동시에 초보자도 호기심에 따라 자유롭게 검색할 수 있도록 해야 합니다. 이를 통해 초보자와 숙련된 전문가 모두의 신뢰를 얻고 생산성과 학습 효과를 높일 수 있습니다. 이러한 참여는 AI/ML 알고리즘을 더 훈련하고 다듬어 지속적인 시스템 개선으로 이어지는 선순환을 형성합니다.
설명 가능한 AI를 사용하여 위험을 평가하고 줄이는 방법
AI는 명확하게 정의된 프로토콜과 데이터 구조를 갖춘 데이터 네트워킹을 바탕으로 차별이나 인간의 편견에 대한 우려 없이 놀라운 진전을 이룰 수 있습니다. 이런 방식으로, 문제 해결 및 서비스 보증과 같은 중립적인 문제 영역에서는 AI의 적용 범위를 명확히 한정하고 책임감 있게 활용할 수 있습니다.
AI 워싱을 밝히고 방지하려면 벤더가 몇 가지 기본적인 기술 및 운영 질문에 명확히 답변할 수 있어야 합니다. 모든 검증 및 조달 과정과 마찬가지로 답변의 세부 수준은 중요한 인사이트를 제공할 수 있습니다. 일부 답변은 기술적 해석이 필요할 수 있지만 벤더의 주장이 타당한지 확인하는 데 도움이 되므로 여전히 권장됩니다.
모든 기술과 마찬가지로 엔지니어링 및 리더십 팀은 제안된 구매를 평가하고 증거를 바탕으로 관련 결정을 내리기 위한 기준을 설정합니다. 위험을 줄이고 검증을 돕기 위해 AI/ML 소유자와 사용자가 물어볼 수 있는 몇 가지 샘플 질문은 다음과 같습니다.
- 솔루션을 구성하고 이에 기여하는 알고리즘은 무엇입니까?
- 데이터는 어떻게 수집되고 정리됩니까?
- 데이터는 어디에서 수집되며 테넌시, 계정 또는 사용자별로 맞춤화되어 있습니까?
- 네트워크 영역에서 매개변수와 기능은 어떻게 설계됩니까?
- 모델을 어떻게 교육 및 재교육하고 최신 상태와 관련성을 유지합니까?
- 시스템 스스로 추론, 권장 사항 또는 작업을 설명할 수 있습니까?
- 편향을 어떻게 제거하거나 줄입니까?
- 솔루션이나 플랫폼은 어떻게 자동으로 개선되고 발전합니까?
또한 약속이나 주장을 검증하기 위해 AI 서비스와 시스템에 대한 시범 운영이나 시험 운영이 항상 권장됩니다.
HPE Networking에서 설명 가능한 AI 활용
AI의 책임감 있고 윤리적인 사용은 복잡한 주제이지만 조직이 반드시 다루어야 할 문제입니다. HPE의 Mist AI 혁신 원칙은 당사 서비스와 제품에서 AI 사용과 관련한 지침입니다. AI/ML 및 AIOps 접근 방식에 관한 광범위한 문서도 있습니다. 여기에는 AI 데이터 및 기본 요소, AI 기반 문제 해결, 인터페이스, 지능형 챗봇 등 운영을 개선하는 동시에 네트워크 이상을 탐지하고 수정하는 데 도움이 되는 툴이 포함됩니다.
XAI는 다양한 형태로 나타날 수 있습니다. 예를 들어 HPE Networking AIOps 기능에는 Wi-Fi 네트워크에서 자동 무선 리소스 관리(RRM)를 수행하고, 잘못된 네트워크 케이블과 같은 문제를 감지하는 기능이 포함됩니다. 고급 GenAI와 AI 에이전트를 활용하면, 수행된 작업과 그에 따른 결과에 대한 신뢰가 쌓인 후에 운영진이 Marvis Actions 대시보드에서 자율 구동, 자율 조치를 선택적으로 활성화할 수 있습니다.
Mist의 핵심은 Marvis AI 엔진과 Marvis AI Assistant입니다. Marvis AI는 IT 팀이 네트워크와 상호 작용하고 네트워크를 운영하는 방식을 새롭게 정의합니다. 에이전트 AI의 통합을 통해 Marvis AI는 복잡한 환경 전반에서 추론하고 협업하며 행동할 수 있게 되어 자율 구동 네트워크의 비전을 현실에 더 가깝게 구현합니다.
Marvis AI Assistant의 구성요소 중 하나인 Marvis 대화형 인터페이스는 고급 LLM, 생성형 AI, NLU/NLP를 사용하여 IT 팀이 자연어로 질문하고 명확하고 실행 가능한 답변을 받을 수 있도록 지원합니다. 또한 사용자의 의도를 이해하고 전문 상담원을 참여시키고 여러 단계의 워크플로를 조율하여 문제를 진단하고, 권한이 부여되면 자율적으로 문제를 해결합니다. 생성된 보고서는 수행된 작업과 실현된 결과를 요약하여 가치를 문서화하고 사용자의 신뢰를 구축합니다. 대화형 인텔리전스와 자동화의 결합을 통해 IT 팀은 더 효율적으로 운영하고 해결 시간을 단축하며 혁신을 주도하는 전략적 이니셔티브에 집중할 수 있습니다.
설명 가능한 AI 관련 FAQ
설명 가능한 AI는 무엇을 의미합니까?
설명 가능한 AI란 사용자가 ML 알고리즘을 통해 생성되는 결과와 산출물을 이해하고 신뢰할 수 있게 하는 일련의 프로세스와 방법입니다. AI/ML 출력에 수반되는 설명은 사용자, 운영자 또는 개발자를 대상으로 하며 사용자의 도입부터 거버넌스 및 시스템 개발에 이르기까지 다양한 우려와 과제를 해결하기 위한 것입니다.
설명 가능한 AI 모델이란 무엇입니까?
설명 가능한 AI 모델이란 투명성을 높이고 이해를 용이하게 하며 AI 출력에 대해 질문하거나 쿼리할 수 있는 특성이나 속성을 갖춘 모델입니다.
설명 가능한 AI가 존재합니까?
존재합니다. 하지만 그 정의가 아직 변화하고 있기 때문에 아직 초기 단계입니다. 많은 수의 기능이나 단계가 있는 복잡하거나 혼합된 AI/ML 모델에서는 XAI를 구현하기가 더 어렵지만,사용자의 신뢰를 얻고 개발을 신속하게 진행하는 데 도움이 되는 제품과 서비스에 XAI가 빠르게 도입되고 있습니다.
딥 러닝에서 설명 가능성은 무엇인가요?
딥 러닝은 때때로 ‘블랙박스’로 간주됩니다. 즉 딥 러닝 모델의 동작과 그 모델이 의사 결정에 도달하는 방식을 이해하는 것이 어려울 수 있습니다. 설명 가능성은 이러한 딥 러닝 과정에 대한 설명을 돕는 개념입니다. 딥 러닝 모델을 설명하는 데 사용되는 기술 중 하나는 Shapley(SHAP) 값입니다. SHAP 값은 예측에 관련된 특징을 강조하여 특정 예측을 설명할 수 있습니다. 다양한 설명 방법을 평가하는 연구가 진행 중입니다.