阅读时长:5 分 50 秒 | 发布日期:2025 年 10 月 1 日

可解释 AI
什么是可解释 AI (XAI)?

可解释 AI 是一组流程和方法,使用户能够理解和信任 AI 的机器学习 (ML) 算法所生成的结果和输出。XAI 为 AI/ML 输出提供相关解释,以解决从用户采用到治理和系统开发等各种问题和挑战。这种“可解释性”是获取市场信任与信心的核心,而这份信任与信心正是推动 AI 广泛应用、让更多人享受其价值的关键。其他相关和新兴举措包括可信 AI 和负责任 AI。

在办公室讨论事务的商务人士。

跳到

可解释 AI 如何实现?

美国国家标准与技术研究院 (NIST) 指出,XAI 遵循以下四项原则:

  • 解释:系统为所有输出提供相关证据或理由。
  • 有意义:系统提供个人用户可以理解的解释。
  • 解释准确性:该解释如实反映了系统生成输出的过程。
  • 知识限制:该系统仅在其设计条件下或其输出达到足够的置信水平时运行。

NIST 指出解释的简繁程度不一,具体取决于相关消费者。该机构列举了以下五个非详尽的可解释性类别,以此介绍部分解释类型:

  • 用户利益
  • 社会接受度
  • 监管与合规性
  • 系统开发
  • 所有者受益

为什么可解释 AI 很重要?

可解释 AI 是在自动化系统中建立、赢得并维持信任的关键要素。若缺乏信任,AI,尤其是面向 IT 运维 (AIOps) 的 AI,难以被完全接纳,进而直接导致现代系统的规模化与复杂性超出人工运维和传统自动化的能力承载范围。

信任能让“AI 粉饰”(即产品或服务虽宣称由 AI 驱动,但实际 AI 作用微乎其微或完全不存在的情况)无所遁形,进而帮助从业者与客户开展 AI 尽职调查。对 AI 的信任与信心建设会直接影响其应用的广度与速度,而这又进一步决定了其效益落地的快慢与范围大小。

当要求任何系统(尤其是会做出影响现实世界决策的系统)寻找答案或做决策时,我们必须能解释一下问题:系统如何决策、如何影响结果,以及为什么需采取该必要行动。

可解释 AI 有哪些优势?

可解释 AI 的优势涉及多个维度。这些优势包括有助于制定明智的决策,降低风险,提升信心与用户采用度,加强治理,加快系统改进速度,以及增强 AI 在全球范围内的整体发展与效用。

可解释 AI 解决了什么问题?

许多 AI 和 ML 模型含糊不清,其输出无从解释。揭示和解释为什么遵循某些路径或如何生成输出对于 AI 技术的信任、发展和采用至关重要。

阐明数据、模型与流程后,可借助透明且有效的推理为系统优化提供洞察力与可观察性。最重要的是,可解释性能简化沟通流程,进而帮助减轻甚至消除系统中的缺陷、偏见与风险。

AI 驱动型用户界面中的数据流示意图。

可解释 AI 如何建立透明度和信任感

初始原始数据若想产生实际作用,最终必须给出具体建议或是明确可执行的操作。从一开始就要求用户信任完全自主的工作流程,往往跨度太大,因此建议让用户自下而上逐步了解各支持层。用户界面 (UI) 工作流程可通过逐层深入分析事件,逐步剥离信息层级,最终追溯至原始输入。这有助于提高透明度和信任度。

理想情况下,一个框架既要足够深入,能够打消领域专家的疑虑,同时也要允许新手根据自己的好奇心探索到足够深度。这有助于初学者与资深老手之间建立信任,同时还能提升工作效率并促进学习。这种参与还能形成良性循环,反过来进一步训练和优化 AI/ML 算法,推动系统持续优化。

如何借助可解释 AI 评估并降低风险

数据网络拥有明确定义的协议与数据结构,这一特性使得 AI 能实现突破性进展,而无需顾虑歧视或人类偏见的干扰。通过这种方式,当 AI 承担故障排除、服务保障等中性问题领域的任务时,其应用范围能得到良好界定,且能以负责任的方式被采用。

让您的供应商回答一些基础的技术和运营问题至关重要,这有助于识别并避免“AI 粉饰”。与所有尽职调查和采购工作一样,回答的详细程度能提供重要的参考信息。这些回复可能需要一定的技术解读,但仍建议参考,以帮助确保供应商的各项申报具备可行性。

和所有技术采购场景一样,工程团队与领导团队需要共同设定用于评估拟议采购方案的标准,并依据证据做出相关决策。为降低潜在风险、助力尽职调查顺利开展,以下为 AI/ML 所有者及用户提供的一些示例问题:

  • 哪些算法构成解决方案,且在其中发挥了什么作用?
  • 如何获取和清理数据?
  • 数据源于哪里(是否按租户、帐户或用户定制)?
  • 如何从网络空间设计参数和特征?
  • 如何训练、重新训练模型并保持其新鲜度和相关性?
  • 系统本身可以解释其推理、建议或行动吗?
  • 如何消除或减少偏见?
  • 解决方案或平台如何自动改进、完善?

此外,始终建议对 AI 服务及系统开展试点或试验,以此验证其承诺的效果或声明的功能。

HPE Networking 可解释 AI 的展示

负责任且合乎道德地运用 AI,虽属复杂议题,却是所有组织必须正视并解决的问题。HPE 的 Mist AI 创新原则为我们在服务和产品中使用 AI 提供了指导。我们还提供丰富的 AI/ML 导览和 AIOps 方法文档。其中包括有助于在检测和纠正网络异常的同时改进操作工具,例如 AI 数据和原语、借助 AI 技术解决问题的功能、界面和智能聊天机器人。

XAI 有多种形式。例如,HPE Networking AIOps 功能包括在 Wi-Fi 网络中执行自动无线电资源管理 (RRM) 并检测诸如网络电缆故障等问题。借助先进的 GenAI 和 AI 代理,一旦对所执行的操作及产生的结果建立起信任,运营人员便可通过 Marvis Actions 仪表板有选择性地启用自动化、自主执行的操作功能。

Mist 的核心是 Marvis AI 引擎和 Marvis AI Assistant。Marvis AI 彻底改变了 IT 团队与网络交互以及开展网络运营的方式。随着 Marvis AI 整合并成为代理式 AI 的典型代表,它能够在复杂环境中开展推理、协作与行动,让自主运行网络愿景离现实更近一步。

Marvis AI Assistant 组件具有 Marvis 对话界面,可使用高级 LLM、生成式 AI 和 NLU/NLP,让 IT 团队能够以自然语言提出问题并获得清晰、可操作的答案。该组件还能够理解用户意图,并借助专门的代理协调多步骤工作流程来诊断问题,并在获得授权后自主解决问题。生成的报告将已采取的行动和已实现的成果进行总结,以此记录价值并与用户建立信任。对话智能与自动化结合,能让 IT 团队更高效地运作、缩短问题解决时间,并专注于推动创新的战略举措。

可解释 AI 常见问题

可解释 AI 是什么意思?

可解释 AI 是一组流程和方法,使用户能够理解和信任 AI/ML 学习算法所得出的结果和输出。AI/ML 输出所附带的解释可能面向用户、操作人员或开发人员,其目的是解决从用户采用到治理、再到系统开发等多方面的顾虑与挑战。

什么是可解释 AI 模型?

可解释 AI 模型指具备特定特征或属性的模型,这些特征或属性能提升透明度、降低理解难度,并且支持对 AI 的输出结果进行质疑或查询。

是否存在可解释 AI?

是的,不过由于相关定义仍在不断发展,它目前还处于萌芽阶段。尽管在包含大量特征或阶段的复杂型、混合型 AI/ML 模型上实现 XAI 难度更高,但 XAI 正快速融入各类产品与服务,既能帮助建立用户信任,也能加快开发进程。

深度学习中的可解释性是什么?

深度学习有时被视作“黑匣子”,这意味着其模型行为、决策依据都难以理解。可解释性旨在为深度学习提供可理解的解释。用于解释深度学习模型的一种技术是 Shapley (SHAP) 值。SHAP 值可通过凸显预测所涉及的特征,对特定预测结果进行解释。目前,针对不同解释方法的评估研究正在持续开展。

相关产品、解决方案或服务

Mist

Marvis AI

Marvis AI Assistant

Marvis Minis

AI 数据中心网络

Marvis AI Assistant for Data Center

相关主题

人工智能 (AI)

AIOps

网络 AI

代理 AI

AI 原生网络

网络可观察性