Qué es la resiliencia en IA y para qué sirve

En general, la resiliencia es la capacidad de un sistema, una persona o una organización para aguantar un golpe, seguir funcionando y recuperarse. Aplicada a la inteligencia artificial, significa lo mismo con un matiz técnico: un sistema de IA es resiliente si soporta sucesos adversos o cambios inesperados en su entorno o en su uso, mantiene sus funciones y, cuando no puede, falla de forma segura y controlada en lugar de hacerlo a ciegas.

Así lo define, en esencia, el Marco de Gestión de Riesgos de IA del NIST (AI RMF 1.0, enero de 2023), que incluye «seguro y resiliente» entre las siete características de una IA digna de confianza, junto a válida y fiable, segura para las personas, responsable y transparente, explicable, respetuosa con la privacidad y justa [1].

¿Para qué sirve? Para que puedas confiar en un sistema cuando las cosas no salen como en las pruebas: datos que cambian, usuarios que hacen preguntas raras, alguien que intenta manipularlo a propósito o una caída del proveedor.

Por qué la IA necesita resiliencia (y el software clásico no tanto)

Un programa tradicional hace lo que dice su código. Un modelo de IA hace lo que aprendió de sus datos, y esos datos nunca cubren todo lo que pasará fuera. Por eso la IA tiene fallos propios:

  • Deriva de datos: el mundo cambia y el modelo sigue razonando con el pasado.
  • Entradas adversariales: datos preparados para que el modelo se equivoque sin que se note.
  • Envenenamiento: alguien contamina los datos de entrenamiento o los documentos que consulta.
  • Inyección de instrucciones (prompt injection): un texto oculto en un correo o una web que da órdenes al modelo. Es el riesgo número uno de la lista OWASP 2025 para aplicaciones con modelos de lenguaje [2].
  • Errores con aplomo: un modelo generativo puede inventar con total seguridad. OWASP lo incluye como «desinformación» en la misma lista.

El NIST mantiene una taxonomía pública de estos ataques y sus defensas, actualizada en 2025 (NIST AI 100-2) [3]. Es una buena lectura si tu equipo técnico quiere un vocabulario común.

Ilustración sobre resiliencia en sistemas de inteligencia artificial

Cómo ponerla a prueba: criterios prácticos

Hay que ponerlo a prueba antes de confiar en él. Si vas a validar un sistema o un agente de IA para un uso que importa (atención a clientes, crédito, salud, operaciones), estos son los criterios que yo revisaría:

CriterioPregunta que debes poder responder
Pruebas adversariales (red teaming)¿Alguien ajeno al equipo intentó romperlo, incluida la inyección de instrucciones?
Datos fuera de lo normal¿Qué hace con entradas incompletas, contradictorias o de otro contexto?
Saber cuándo no sabe¿Avisa o escala a una persona cuando la confianza es baja?
Permisos mínimos¿El agente solo accede a los datos y acciones que necesita? OWASP llama «agencia excesiva» al caso contrario [2].
Plan de caídaSi el modelo o el proveedor fallan, ¿hay un modo seguro o un proceso manual?
Trazabilidad¿Quedan registros de entradas, salidas y decisiones para auditar después?
Vigilancia continua¿Se mide el rendimiento en producción y se detecta la deriva?

Un ejemplo hipotético para entenderlo: un filtro de currículos que descarta a quien tiene dos años sin empleo. Sin registros ni explicación, nadie verá que está dejando fuera a personas que cuidaban a un familiar. Con trazabilidad, el sesgo se detecta y se corrige.

Qué dice la regulación

En la Unión Europea, el artículo 15 del AI Act exige a los sistemas de alto riesgo un nivel adecuado de precisión, solidez y ciberseguridad durante todo su ciclo de vida. Pide que sean resistentes a errores, fallos e incoherencias, admite soluciones de redundancia técnica y planes de seguridad ante fallos, y menciona expresamente ataques como el envenenamiento de datos o de modelos y los ejemplos adversariales [4]. Esas obligaciones de alto riesgo se han aplazado con el Omnibus digital (anexo III hasta el 2 de diciembre de 2027 y anexo I hasta el 2 de agosto de 2028), pero conviene diseñar ya con ese estándar. Lo resumo en la guía del AI Act para empresas.

Ojo con una confusión frecuente: la directiva europea NIS2 no es una norma de IA. Obliga a ciertas entidades esenciales e importantes a gestionar sus riesgos de ciberseguridad en general [5]. Si tu IA forma parte de un servicio cubierto, entra dentro de esa gestión de riesgos.

Si trabajas desde Ecuador, no hay ley de IA, pero la norma de la Superintendencia de Protección de Datos de febrero de 2026 ya pide evaluaciones de impacto y auditorías según el riesgo cuando la IA trata datos personales. Está explicado en la guía del marco regulatorio de IA en Ecuador.

Equipo multidisciplinar revisando la ética y la seguridad de un sistema de IA

Resiliencia también es cosa de personas

La parte técnica no basta. El artículo de Fast Company del que partía este texto defendía que los productos de IA se diseñan para escenarios ideales y que diseñadores e investigadores deben empujar para que aguanten la vida real, con todo su desorden [6]. Coincido: los riesgos de discriminación, los efectos psicológicos de un chatbot que nunca se desconecta o los huecos legales los detectan mejor perfiles distintos a los de ingeniería.

En la práctica, eso se traduce en revisar cada sistema con alguien de negocio, alguien de legal o protección de datos y alguien que represente al usuario final. Si quieres el enfoque completo, tienes la guía de ética en IA aplicada para empresas.

Lista rápida antes de desplegar

  1. Define qué pasa si el sistema falla y quién responde.
  2. Haz pruebas adversariales con gente que no lo construyó.
  3. Limita permisos y datos al mínimo.
  4. Activa registros y revisa una muestra de decisiones cada semana.
  5. Mide en producción y repite las pruebas tras cada cambio de modelo.

Fuentes y referencias

Fuentes consultadas el 3 de noviembre de 2026.

  1. [1] NIST: AI Risk Management Framework (AI RMF 1.0), enero de 2023.
  2. [2] OWASP: Top 10 for LLM Applications 2025, 2025.
  3. [3] NIST: AI 100-2 E2025, Adversarial Machine Learning: taxonomía de ataques y mitigaciones, marzo de 2025.
  4. [4] EU AI Act: artículo 15, precisión, solidez y ciberseguridad, Reglamento (UE) 2024/1689.
  5. [5] Comisión Europea: Directiva NIS2, consultada en 2026.
  6. [6] Fast Company: AI has a resilience problem. Designers and researchers can help fix it, 2025. Artículo de partida.