Tiempo de lectura: 5 minutos y 50 segundos | Publicado: 1 de octubre de 2025
IA explicable ¿Qué es la IA explicable o XAI?
La Inteligencia artificial explicable es un conjunto de procesos y métodos que permite a los usuarios comprender y confiar en los resultados y la producción creados por los algoritmos de aprendizaje automático de la IA. La XAI proporciona las explicaciones que acompañan a los resultados de IA/aprendizaje automático para abordar inquietudes y desafíos que abarcan desde la adopción por el usuario hasta la gobernanza y el desarrollo de sistemas. La capacidad de ser explicada resulta fundamental para ganar la confianza necesaria en el mercado para impulsar la adopción y los beneficios más amplios de la IA. Otras iniciativas relacionadas y emergentes incluyen una IA de confianza y una IA responsable.
¿Cómo se implementa la IA explicable?
El Instituto Nacional de Estándares y Tecnología de EE. UU. (NIST) afirma que son cuatro los principios que impulsan la XAI:
- Explicación: los sistemas proporcionan evidencia o razones adjuntas para todos los resultados.
- Significativo: los sistemas proporcionan explicaciones que son comprensibles para los usuarios individuales.
- Precisión de la explicación: la explicación refleja correctamente el proceso del sistema para generar el resultado.
- Límites del conocimiento: el sistema funciona únicamente en las condiciones para las que fue diseñado o cuando sus resultados han alcanzado niveles de confianza suficientes.
El NIST señala que las explicaciones pueden ir de simples a complejas y dependen del consumidor en cuestión. La agencia ilustra algunos tipos de explicaciones utilizando las cinco categorías siguientes de capacidad de ser explicada, como muestra y no exhaustivas:
- Beneficio para el usuario
- Aceptación societaria
- Normativa y cumplimiento
- Desarrollo del sistema
- Beneficio para el propietario
¿Por qué es importante la IA explicable?
La IA explicable es un componente crucial para desarrollar, ganar y mantener la confianza en los sistemas automatizados. Sin confianza, la IA, y especialmente la IA para operaciones de TI (AIOps), no se adoptará plenamente, lo que hará que la escala y la complejidad de los sistemas modernos crezcan hasta superar lo que se puede lograr con operaciones manuales y automatización tradicionales.
La confianza desenmascara el "lavado de IA" (dar a entender que un producto o servicio está impulsado por la IA cuando el rol de la IA es reducido o no existe), lo que ayuda a profesionales y clientes con su diligencia debida en materia de IA. Establecer la confianza en la IA afecta al alcance y la velocidad de su adopción, lo que a su vez determina la rapidez y amplitud con las que se pueden obtener sus beneficios.
Cuando se le pide a cualquier sistema que busque respuestas o tome decisiones, especialmente aquellas con impactos en el mundo real, resulta imperativo que podamos explicar cómo un sistema llega a tomar una decisión, cómo influye en un resultado o por qué se consideraron necesarias las acciones.
¿Cuáles son los beneficios de la IA explicable?
Los beneficios de la IA explicable son multidimensionales. Se relacionan con la toma de decisiones informada, la reducción de riesgos, una mayor confianza y adopción por parte de los usuarios, una mejor gobernanza, una mejora más rápida del sistema, y la evolución y utilidad general de la IA en el mundo.
¿Qué problemas resuelve la IA explicable?
Muchos modelos de IA y ML son opacos y sus resultados inexplicables. Resulta fundamental para la confianza, la evolución y la adopción de tecnologías de IA exponer y explicar por qué se siguieron determinados caminos o cómo se generaron los resultados.
Iluminar los datos, modelos y procesos proporciona información y capacidad de observación para la optimización del sistema utilizando un razonamiento transparente y válido. Lo más importante es que la capacidad de ser explicada permite una comunicación más sencilla y la consiguiente mitigación o eliminación de fallos, sesgos y riesgos.
Cómo la IA explicable crea transparencia y genera confianza
Para que sean útiles, los datos sin procesar iniciales deben terminar produciendo una acción sugerida o ejecutada. Pedirle a un usuario que confíe en un flujo de trabajo totalmente autónomo desde el principio suele ser demasiado arriesgado, por lo que se recomienda permitir que el usuario avance por las capas de soporte desde abajo hacia arriba. Al profundizar en los eventos nivel por nivel, el flujo de trabajo de la interfaz de usuario (UI) va pelando las capas hasta llegar a las entradas sin procesar. Esto facilita la transparencia y la confianza.
Lo ideal es que un marco profundice lo suficiente como para satisfacer el escepticismo de los expertos en el dominio y, al mismo tiempo, permita a los principiantes buscar hasta donde llegue su curiosidad. Esto ayuda a establecer confianza entre principiantes y veteranos experimentados y permite una mayor productividad y aprendizaje. Este compromiso también forma un círculo virtuoso que puede entrenar y perfeccionar aún más los algoritmos de IA/aprendizaje automático para introducir mejoras continuas del sistema.
Cómo utilizar la IA explicable para evaluar y reducir el riesgo
La red de datos, con sus protocolos y estructuras de datos bien definidos, significa que la IA puede lograr avances increíbles sin temor a la discriminación o al sesgo humano. De esta manera, las aplicaciones de IA pueden delimitarse claramente y adoptarse de manera responsable cuando se las enfrenta a espacios de problemas neutrales, como la solución de problemas y la garantía del servicio.
Resulta vital que tu proveedor responda a algunas preguntas técnicas y operativas básicas para ayudar a desenmascarar y evitar el lavado de inteligencia artificial. Como ocurre con cualquier diligencia debida y esfuerzo de adquisición, el nivel de detalle de las respuestas puede proporcionar información importante. Las respuestas pueden requerir cierta interpretación técnica, pero aun así se recomiendan para ayudar a garantizar que las reclamaciones de los proveedores sean viables.
Como ocurre con cualquier tecnología, los equipos de ingeniería y liderazgo establecen criterios para evaluar las compras propuestas y tomar decisiones relacionadas sobre la base de la evidencia. Para reducir el riesgo y ayudar con la diligencia debida, estos son algunos ejemplos de preguntas que los propietarios y usuarios de IA/aprendizaje automático pueden hacer:
- ¿Qué algoritmos comprenden y contribuyen a la solución?
- ¿Cómo se ingieren y limpian los datos?
- ¿De dónde provienen los datos (y están personalizados a nivel de inquilinos, cuentas o usuarios)?
- ¿Cómo se diseñan los parámetros y las características desde el espacio de la red?
- ¿Cómo se entrenan, reentrenan y mantienen los modelos actualizados y relevantes?
- ¿Puede el sistema por sí mismo explicar su razonamiento, sus recomendaciones o acciones?
- ¿Cómo se elimina o reduce el sesgo?
- ¿Cómo mejora y evoluciona automáticamente la solución o plataforma?
Además, siempre se recomienda realizar pruebas o proyectos piloto sobre servicios y sistemas de IA para validar promesas o afirmaciones.
La IA explicable en acción en HPE Networking
El uso responsable y ético de la IA es un tema complejo, pero que las organizaciones deben abordar. Los Principios de innovación de Mist AI de HPE guían el uso de la inteligencia artificial en nuestros servicios y productos. También contamos con amplia documentación sobre nuestro enfoque de IA/aprendizaje automático y AIOps. Esto incluye herramientas que ayudan a detectar y corregir anomalías de la red al tiempo que mejoran las operaciones, como datos y primitivos de IA, solución de problemas impulsada por la IA, interfaces y chatbots inteligentes.
La XAI puede presentarse en muchas formas. Por ejemplo, las capacidades de HPE Networking AIOps incluyen la realización de una gestión automática de recursos de radio (RRM) en redes wifi y la detección de problemas, como cables de red defectuosos. Al utilizar agentes avanzados de GenAI y de IA, las operaciones pueden habilitar de forma selectiva acciones autónomas desde el Panel de acciones de Marvis una vez que se haya establecido la confianza en las acciones tomadas y los resultados obtenidos.
En el núcleo de Mist se encuentra el motor Marvis AI y el asistente de Marvis AI. Marvis AI redefine cómo los equipos de TI interactúan con sus redes y las operan. Con la integración de la IA agéntica, Marvis AI puede razonar, colaborar y actuar en entornos complejos, para acercar la visión de la red autónoma a la realidad.
Un componente del Asistente de Marvis AI es la Interfaz Conversacional de Marvis, que utiliza LLM avanzados, IA generativa y NLU/PLN para permitir que los equipos de TI hagan preguntas en lenguaje natural y reciban respuestas claras y prácticas. Comprende la intención del usuario, involucra a agentes especializados y organiza flujos de trabajo de varios pasos para diagnosticar problemas y, cuando está autorizado, resolverlos de forma autónoma. Los informes generados resumen las acciones tomadas y los resultados obtenidos para documentar el valor y generar confianza con los usuarios. Esta combinación de inteligencia conversacional y automatización permite a los equipos de TI operar de manera más eficiente, reducir los tiempos de solución y centrarse en iniciativas estratégicas que impulsan la innovación.
Preguntas frecuentes sobre la IA explicable
¿Qué se entiende por IA explicable?
La IA explicable es un conjunto de procesos y métodos que permite comprender y confiar en los resultados y la producción creados por los algoritmos de IA/aprendizaje automático. Las explicaciones que acompañan a los resultados de IA/aprendizaje automático pueden tener como objetivo a usuarios, operadores o desarrolladores capacitados para abordar inquietudes y desafíos que abarcan desde la adopción por el usuario hasta la gobernanza y el desarrollo de sistemas.
¿Qué es un modelo de IA explicable?
Un modelo de IA explicable es aquel con características o propiedades que contribuyen a la transparencia, facilitan la comprensión y ofrecen la capacidad de cuestionar o consultar los resultados de la IA.
¿Existe la IA explicable?
Sí, aunque se encuentra en una forma incipiente debido a que las definiciones aún están evolucionando. Si bien es más difícil implementar la XAI en modelos de IA/aprendizaje automático complejos o combinados que tienen una gran cantidad de características o fases, se está incorporando rápidamente a productos y servicios para generar confianza con los usuarios y ayudar a acelerar el desarrollo.
¿Qué es la capacidad de ser explicado en el aprendizaje profundo?
El aprendizaje profundo a veces se considera una «caja negra», lo que significa que puede ser difícil comprender el comportamiento del modelo de aprendizaje profundo y cómo llega a sus decisiones. La capacidad de ser explicada busca facilitar las explicaciones del aprendizaje profundo. Una técnica utilizada para explicar los modelos de aprendizaje profundo son los valores de Shapley (SHAP). Los valores SHAP pueden explicar predicciones específicas al resaltar las características involucradas en la predicción. Se están realizando investigaciones para evaluar diferentes métodos de explicación.