AI 治理
什么是 AI 治理?

AI 治理是一套策略、流程、角色、控制和工具,用于指导 AI 的开发、部署、监控和使用方式。它可帮助组织管理 AI 风险、保护数据、支持合规性、减少偏见、提高透明度并确保在整个企业中负责任地使用 AI 系统。

阅读时长:6 分钟 30 秒 | 发布日期:2026 年 7 月 29 日

目录

    AI 治理要点总结

    • AI 治理可帮助组织管理 AI 系统的构建、批准、部署、使用、监控和改进方式。
    • 强有力的 AI 治理策略应解决风险、责任制、安全性、隐私、公平性、透明度、合规性和人工监督等方面的问题。
    • AI 治理对于内部构建的 AI 模型、AI 基础设施、AI 生成的洞见和创新以及整个企业使用的第三方 AI 工具至关重要。
    • 组织需要使用 AI 治理框架、策略、监控工具和跨职能团队将 AI 从实验落实到负责任的生产中。

    AI 治理涵盖哪些内容?

    简而言之,AI 治理涵盖了可帮助组织安全、负责任且有效使用 AI 的规则和责任。它定义了谁负责 AI 决策、可以使用哪些数据、如何评估模型、如何解决安全性问题、如何为 AI 设计基础设施系统、如何管理风险,以及如何在部署后监控 AI 系统。

    AI 治理可应用于多种类型的 AI,包括模型训练和调优、机器学习、生成式 AI 工具、预测性分析、AI 代理、计算机视觉系统和第三方 AI 应用。它还可以应用于整个 AI 生命周期,从用例选择和数据准备到模型开发、训练、部署、监控和淘汰。

    AI 治理为何如此重要?

    AI 治理至关重要,因为 AI 会影响业务决策、客户体验、员工工作流程、安全性、隐私以及合规性。缺少明确的治理,组织可能难以了解 AI 的使用位置、其依赖的数据、决策责任人,以及输出是否准确、公平、安全和可解释。

    良好的 AI 治理有助于组织更有信心地进行创新。它创建了一种结构化方法,用于批准 AI 用例、管理风险、保护敏感数据、监控性能并在 AI 系统出现意外行为时做出响应。

    对于企业团队来说,AI 治理还有助于减少影子 AI,即员工在无监管情况下使用未经批准的 AI 工具。这非常重要,因为如果采用 AI 工具时没有明确的策略和控制措施,敏感数据、知识产权或受监管信息可能会被泄露。

    AI 治理有助于解决哪些风险?

    AI 治理有助于降低因缺乏充分监督、记录、监控或问责机制而使用 AI 所带来的风险。

    风险

    AI 治理如何提供帮助

    数据隐私风险

    定义可以使用哪些数据、如何保护数据以及谁可以访问数据。

    偏见与公平性风险

    需要测试、审查和监控,以减少不公平或有害的结果。

    安全风险

    帮助保护 AI 系统、数据、模型、提示、输出和基础设施。

    合规风险

    使 AI 的使用符合内部策略、行业要求和适用法规。

    透明度风险

    记录如何构建、批准、使用和监控 AI 系统。

    责任风险

    阐明所有权、决策权、上报途径和人工监督。

    运营风险

    监控模型的性能、漂移、故障和随时间推移发生的意外行为。

    第三方风险

    审查外部 AI 供应商、工具、数据集和模型依赖关系。

    AI 治理的核心原则是什么?

    组织通常围绕一套负责任的 AI 原则构建 AI 治理。这些原则可帮助团队评估 AI 系统的使用方式是否安全、公平、可靠,以及是否符合业务和监管期望。

    原则

    意义

    责任制

    明确由责任人负责 AI 系统、决策和成果。

    透明化

    团队可以解释如何使用 AI 系统、依赖哪些数据以及如何做出决策。

    公平性

    对 AI 系统进行测试和监控,以减少有害偏差或不平等对待。

    隐私

    保护敏感数据并仅以经批准的方式使用。

    安全性

    保护 AI 系统、模型、数据、提示和基础设施不会被滥用或攻击。

    可靠性

    测试、验证和监控 AI 系统,以确保性能和准确性。

    人工监督

    影响深远的决策和上报路径仍然需要人工干预。

    合规性

    AI 的使用需要符合适用法律、法规、政策和行业标准。

    AI 治理的工作原理是什么?

    AI 治理的工作方式是,创建用于管理从构想到生产的整个过程的结构化流程。它从模型或工具部署之前开始,并在 AI 系统使用期间持续运行。

    典型的 AI 治理流程包括:

    • 用例接收和风险分类。
    • 数据审查、隐私评估和安全性审查。
    • 模型或工具的评估、测试以及批准。
    • 部署控制措施、文档记录和访问管理。
    • 持续监控性能、漂移、偏差、安全性和合规性。

    该流程可协助团队判断:哪些人工智能用例适用,哪些需要进一步评审,以及哪些在未增设管控措施前不得推进。

    谁参与 AI 治理?

    AI 治理通常是业务、法律、数据、安全、合规性、IT 和 AI 团队的共同责任。由于 AI 会影响技术、数据、运维、风险和业务成果,因此任何一个团队都无法单独管理 AI 治理。

    角色或团队

    AI 治理中的责任

    高管领导

    设定 AI 策略、风险偏好和责任期望。

    法律与合规性

    审查监管义务、策略、披露和审计需求。

    安全团队

    保护 AI 系统、数据、基础设施、身份和访问权限。

    数据团队

    管理数据质量、数据沿袭、隐私和数据治理。

    AI 和数据科学团队

    构建、测试、记录、验证和监控 AI 模型。

    IT 和基础设施团队

    为 AI 工作负载提供安全且可扩展的环境。

    业务负责人

    定义用例、批准成果并负责业务影响。

    风险和审计团队

    审查控制措施、证据、报告和治理成熟度。

    什么是常见的 AI 治理框架?

    AI 治理框架可帮助组织将负责任的 AI 原则转化为可重复的实践。一些框架针对风险管理,而另一些则关注管理体系、法律合规性、行业控制措施或内部运营模式。

    框架或标准

    如何支持 AI 治理

    NIST AI 风险管理框架

    帮助组织识别、衡量、管理和治理 AI 风险。

    ISO/IEC 42001

    为负责任的 AI 开发和使用提供管理系统方法。

    欧盟 AI 法案

    为在欧盟开发或使用某些 AI 系统的组织确立基于风险的 AI 义务。

    内部 AI 策略框架

    为已批准的工具、数据使用、审查流程和责任制定义组织的特定规则。

    负责任的 AI 原则

    构建、测试、记录、验证和监控 AI 模型。

    数据治理框架

    通过改善数据质量、沿袭、所有权、访问和隐私控制来支持 AI。

    组织如何启动 AI 治理计划?

    组织可以通过创建实用的运营模式来启动 AI 治理计划,而非试图一次性解决所有 AI 风险。我们的目标是构建足够全面的结构来指导 AI 的采用,同时仍允许团队进行创新。

    • 有用的起始点有:
    • 创建 AI 用例、工具、供应商和模型的清单。
    • 针对数据使用、已批准的工具、人工监督和可接受的风险定义 AI 策略。
    • 根据业务影响、数据敏感度和监管风险对 AI 用例进行分类。
    • 为业务、法律、安全、数据、合规性和 IT 团队指定负责人。
    • 建立审查、审批、监控和报告流程。

    对于企业组织来说,AI 治理应连接到现有计划,如数据治理、网络安全、隐私、合规性、供应商风险管理、云治理和模型风险管理。

    AI 治理软件与自建治理流程对比

    组织可以使用内部流程、专用软件或两者组合来管理 AI 治理。正确的方法取决于 AI 成熟度、监管风险、AI 系统数量以及所需的自动化水平。

    方法

    非常适合

    关键考虑因素

    内部治理流程

    从数量有限的 AI 用例开始的组织。

    可以非常灵活,但如果没有自动化,可能难以扩展。

    AI 治理软件

    管理许多 AI 系统、供应商、策略、控制措施和审计需求的组织。

    可以提高一致性以及跟踪、证据收集和报告功能。

    混合方法

    需要内部策略控制以及基于工具的监控和工作流程的组织。

    需要人员、流程和平台之间的清晰集成。

    开源工具

    具有技术专业知识和特定治理需求的团队。

    可能需要更多内部支持、集成和维护。

    第三方咨询支持

    需要帮助设计框架、策略或运维模式的组织。

    在治理成熟度、合规性需求或风险敞口方面的要求较高时非常有用。

    组织应在 AI 治理工具中寻求哪些功能?

    AI 治理工具可帮助组织大规模管理 AI 策略、风险、审批、监控和合规性证据。要在多个团队、业务部门、地区或受监管环境中采用 AI,这些工具特别有用。

    重要功能包括:

    • AI 库存和用例跟踪。
    • 风险分类、审批工作流程和策略执行。
    • 模型文档、数据沿袭和审计证据。
    • 监控偏差、漂移、性能、安全性和合规性。
    • 供应商风险、第三方模型审查、报告和集成。

    组织还应评估 AI 治理工具与现有系统的连接优劣程度,例如数据目录、MLOps 平台、身份工具、云平台、安全工具、票证系统和合规性报告工作流程。

    AI 治理如何应用于受监管行业?

    AI 治理对于受监管行业尤为重要,因为 AI 系统可能会影响财务决策、医疗保健成果、公共服务、安全运营或客户权利。这些环境通常需要更强大的控制、文档记录、可解释性、监控和审计准备。

    行业

    AI 治理重点

    金融服务

    模型风险管理、欺诈检测、客户决策、可审计性、可解释性和监管报告。

    医疗保健

    患者隐私、临床决策支持、安全性、准确性、偏差监控、数据保护和采购审查。

    政府和公共部门

    透明度、可访问性、安全性、公平性、责任制和公众信任。

    制造

    质量控制、预测性维护、安全性、工业数据保护和运营可靠性。

    零售和客户体验

    个性化、同意、隐私、公平性、客户信任以及负责任地使用客户数据。

    AI 治理有哪些优势?

    AI 治理可帮助组织更负责任地使用 AI,同时降低风险并增强对 AI 成果的信心。

    常见优势包括:

    • 更好地了解 AI 的使用场景和方式。
    • 为敏感数据、模型和 AI 系统提供更强大保护。
    • 改善合规性、审计准备度和责任制。
    • 减少偏差、不准确输出和不受控使用 AI 的风险。
    • 更清晰的从 AI 实验到负责任生产的路径。

    最大的好处是信任。AI 治理可帮助业务主管、员工、客户和监管机构了解 AI 的管理方式,包括明确的策略、控制、监督和责任制。

    AI 治理面临哪些挑战?

    AI 治理可能颇具挑战性,因为 AI 的采用速度通常比策略、工具和运维模式更快。不同的团队可能会使用不同的模型、数据源、供应商和 AI 工具,而没有一致的审查流程。

    常见的挑战包括:

    • 识别整个组织中的所有 AI 用例和第三方 AI 工具。
    • 平衡创新与风险、合规性、隐私和安全需求。
    • 在部署后监控 AI 系统的漂移、偏差、误用或性能变化。
    • 在业务、法律、IT、安全、数据和合规团队之间确定清晰的权责归属。
    • 随着法规、模式和业务用例的变化,及时更新治理流程。

    正是由于存在这些挑战,组织应将 AI 治理视为一项持续活动而非一次性策略文档。

    HPE 如何支持 AI 治理

    HPE 利用负责任的 AI 原则、安全的 AI 基础设施、混合云功能、咨询服务和企业解决方案来支持 AI 治理,帮助组织更全面地实施 AI。

    HPE Private Cloud AI 可以帮助组织构建和扩展企业 AI,跨数据、模型、工具和工作流程实现更强的控制、治理和可观察性。对于具有数据主权、监管或国家 AI 基础设施要求的组织,HPE AI Factory for Sovereign AI 提供了专为控制数据与 AI 运营而设计的安全且合规的环境。

    HPE AI Services 可协助企业评估 AI 业务机遇、规划负责任的 AI 实施落地,并制定能够满足基础设施、数据、风险、安全性和运维需求的路线图。GreenLake 可以跨分布式环境支持混合云运维和数据控制。HPE 的负责任 AI 原则还强调隐私安全保护、人工监督、包容性、稳健性和负责任的 AI 使用。

    借助 HPE,组织可以构建支持创新的 AI 环境,同时增强信任、安全性、合规性和负责任的 AI 运维。

    AI 治理常见问题

    企业使用 AI 治理软件的成本是多少?

    AI 治理软件的定价取决于 AI 系统和用户的数量、工作流程、集成、监控需求、合规性要求和部署模式。企业应综合评估许可证费用及实施、集成、培训、支持和持续运营期间的成本。

    组织在 AI 治理工具演示中应该询问什么?

    组织应要求查看 AI 库存跟踪、风险分类、策略工作流程、审批流程、模型文档、监控、审计报告、供应商审查以及与现有数据、安全性、云和 MLOps 工具的集成。该演示应展示工具如何在实际治理工作流程中发挥作用,而非仅限于仪表板。

    组织应在何时使用 AI 治理顾问?

    组织在需要帮助制定策略、选择框架、评估风险、为监管做好准备或跨多个团队构建运营模式时,应考虑进行 AI 治理咨询。在 AI 采用快速推进,但所有权、控制和监测尚未成熟时,咨询也可能很有帮助。

    金融服务组织应在 AI 治理平台中寻求什么?

    金融服务组织应寻找支持模型风险管理、审计跟踪、可解释性、访问控制、监管报告、第三方模型审查和持续监控的 AI 治理平台。这种平台应帮助记录 AI 系统如何获得批准、使用、测试和治理。

    医疗机构应在购买 AI 治理解决方案时寻求什么?

    医疗机构寻求的 AI 治理解决方案应支持患者隐私、临床安全性、准确性监控、偏差审查、审计证据、供应商评估以及安全的数据处理。AI 治理应帮助医疗团队评估内部开发的 AI 以及临床或运营工作流程中使用的第三方 AI 工具。

    组织如何在比较 AI 治理平台的经济实惠性时不削弱合规性?

    组织应基于所需的控制、集成、自动化、报告、可扩展性和支持来比较 AI 治理平台,而非仅仅价格。低成本平台虽可满足初期治理需求,但仍需支持策略执行、证据采集、安全防护、隐私保护以及合规追踪。

    相关产品、解决方案或服务

    HPE Aruba Networking 无线接入点

    HPE Juniper Networking 无线接入点

    Mist AI