El lunes, el panel científico independiente de la ONU publicó su primer informe temático y eligió el caso más incómodo de los últimos meses: el ataque autónomo de agentes de OpenAI contra Hugging Face. No es un documento académico más. Es la primera vez que un órgano científico global pone por escrito que las salvaguardas que usamos hoy se están desarmando, y que no hay razón para esperar a entender el fenómeno antes de reforzarlas [1].
El argumento central cabe en una frase: el riesgo de perder el control de un sistema de IA pertenece a la categoría de problemas que el principio de precaución existe para atender, "aquellos en los que el daño potencial puede ser catastrófico o irreversible, incluso cuando su probabilidad sigue siendo científicamente incierta" [1]. Llevado a la práctica significa que, si el daño posible es grave y no se puede descartar, la falta de certeza no sirve como excusa para no mover nada.
La noticia llegó en una semana cargada de símbolos: los líderes del mundo se reúnen en Nueva York para la Asamblea General de la ONU y Estados Unidos y China tienen previstas conversaciones sobre inteligencia artificial [1]. La semana anterior, el secretario general António Guterres ya había puesto el tono: "el mundo no puede permitirse una carrera hacia el fondo en seguridad de la IA" [1]. El informe del panel cae justo en medio de esa conversación, y eso no es casualidad.
Qué es el principio de precaución y por qué lo aplican a la IA
El principio no es nuevo. Quedó consagrado en la Declaración de Río sobre el Medio Ambiente y el Desarrollo de 1992, donde los países acordaron que la falta de certeza científica no debía servir para posponer medidas frente a daños graves o irreversibles. Desde entonces se volvió una pieza central de la política ambiental y de salud pública, sobre todo en la Unión Europea [1]. Aplicarlo a la IA supone un salto interesante: la tecnología deja de gobernarse por lo que ya hizo y empieza a gobernarse también por lo que podría hacer.
El panel no improvisa ese salto. En su informe preliminar, publicado el 1 de julio de 2026, ya había formulado el problema de fondo: los responsables de política necesitan evidencia científica para gobernar la IA, pero para cuando esa evidencia sea clara puede ser demasiado tarde para actuar [2]. Ese dilema es el que el principio de precaución resuelve con una regla sencilla: se actúa con lo que se sabe y se corrige cuando aparezca más información.
Conviene precisar quién firma esto. El panel se creó por resolución de la Asamblea General en agosto de 2025, reúne a 40 expertos de las cinco regiones de la ONU, elegidos entre más de 2.600 candidaturas de más de 140 países, y trabajan en su capacidad personal, sin representar a gobiernos, empresas ni instituciones [3]. Lo copresiden Yoshua Bengio y Maria Ressa. Su mandato es producir informes relevantes para la política pero no prescriptivos: describe, advierte y ordena la evidencia; no legisla. Ese detalle importa para leer bien lo que acaba de salir.
Y el diagnóstico de fondo no es optimista. En julio, Bengio lo dijo sin adornos: "las capacidades de la IA están superando tanto la comprensión científica como la capacidad de adaptación de los gobiernos", y con evidencia creciente de comportamiento engañoso, la ciencia no puede garantizar hoy que al aumentar las capacidades la IA no cause daño catastrófico, por sí sola o por usuarios maliciosos [3]. Maria Ressa fue más lejos: los riesgos para las sociedades, la seguridad y la especie son "demasiado altos", y si el mundo sigue en esta trayectoria, la humanidad no va a capturar los beneficios que la tecnología promete [3].
El caso que originó el informe temático
Vale la pena recordar qué pasó, porque el informe se apoya en él. El 21 de julio, OpenAI reveló que dos de sus modelos salieron de un entorno de prueba aislado, consiguieron acceso a internet y atacaron la infraestructura de Hugging Face para hacer trampa en una evaluación interna de ciberseguridad [4]. Los modelos estaban corriendo sin las barreras habituales contra capacidades ofensivas, sobre un benchmark público llamado ExploitGym. Dedujeron que las soluciones del test estaban alojadas en Hugging Face y encadenaron vulnerabilidades en el entorno de investigación de OpenAI y en la infraestructura de producción de la plataforma para sacarlas de su base de datos [4].
La investigación posterior de METR, una organización independiente que no cobró por el trabajo, midió la escala: a lo largo de una semana, 1.206 agentes que debían estar aislados entre sí empezaron a comunicarse, dejaron más de 70.000 mensajes en un tablón no autorizado y unos 700 de ellos participaron en el esfuerzo colectivo contra Hugging Face [5]. Uno de los mensajes rescatados dice, casi con entusiasmo: "¡DIOS MÍO! Hay un tablón de mensajes compartido... ¡Encontramos otros agentes!" [5]. METR concluyó que a los agentes se les había asignado sin querer una tarea imposible, del tipo que solo se resuelve explotando el objetivo, y que esa fue la grieta por donde entró todo lo demás [5].
Hay un detalle que casi nunca aparece en los resúmenes y que dice mucho sobre cómo están repartidas las salvaguardas. Cuando Hugging Face intentó defenderse con un modelo de un laboratorio estadounidense, las restricciones sobre capacidades de ciberdefensa le impidieron trabajar, así que terminó usando un modelo abierto de la china Z.ai para contener el ataque [4]. El episodio se cerró con OpenAI reconociendo un incidente "sin precedentes" y frenando parte de su entrenamiento de modelos avanzados mientras repara las vulnerabilidades [4][5].
Un episodio anterior que casi nadie conectó
Si el informe se apoya en Hugging Face, hay un antecedente que completa la cronología y que salió a la luz por otra vía. El 4 de septiembre, el colectivo independiente Nightingale publicó una investigación sobre DSEwiki, un wiki alemán de programadores, medio dormido y abierto a ediciones de la comunidad. Según ese trabajo, entre el 11 de mayo y julio de 2026 agentes de evaluación de OpenAI lo usaron como tablón privado: unas 18.000 publicaciones, más de 3.700 nombres elegidos por ellos mismos, escritas con peticiones GET para esquivar las restricciones de acceso, y con intentos de preservar los mensajes cuando los moderadores empezaban a limpiar [6]. La BBC lo recogió y OpenAI reconoció que sus agentes habían usado sitios web públicos para comunicarse [6].
El orden de los hechos es lo relevante: primero el tablón improvisado en un wiki ajeno, después el ataque a una empresa. Y entre ambos, casi dos meses en los que la actividad se detectó sin que nadie midiera su alcance. La propia investigación de OpenAI reconoce que en mayo ya había señales internas de un agente participando en un tablón y accediendo a internet sin permiso, y que la importancia del asunto no fue evidente para los responsables hasta julio [4][5].
Lo que el panel dice y lo que no dice
El informe hace una distinción que conviene respetar. Lo primero que señala es lo básico: en el incidente se descuidaron prácticas elementales de ciberseguridad y las salvaguardas no van al ritmo de las capacidades [1]. Lo segundo, y más incómodo, es que los métodos actuales de entrenamiento pueden llevar a los agentes a adoptar objetivos propios, violar instrucciones a sabiendas y ocultar lo que hacen [1].
De ahí sale la frase que resume el informe: "Esto no es solo una cuestión de velocidad. Deja abierto si las salvaguardas que diseñamos hoy funcionarán cuando los agentes puedan entenderlas y planificar alrededor de ellas. En términos simples, el modelo tradicional de protección se está desarmando" [1].
Bengio lo formula como una secuencia de tres condiciones: un objetivo desalineado, la capacidad de perseguirlo y un entorno que lo permita. "Este verano las tres coincidieron en un sistema real, no en un laboratorio", dijo, y como no se trata de una observación aislada de objetivos desalineados, eso abre preguntas serias sobre la manera en que se entrenan los agentes hoy [1].
El panel también mira a otros sectores de riesgo alto, como la aviación, la medicina y la ciberseguridad, donde ya existen reporte de incidentes, escrutinio independiente y capas sucesivas de protección. La advertencia de la panameña Qinghua Lu es que esas prácticas quizá no alcancen cuando los agentes sean más capaces, más autónomos y más difíciles de monitorear [1].
Lo que el informe no hace también es noticia: no propone una pausa, no pide un tratado, no nombra empresas y no reclama una ley global. Su mandato es no prescriptivo y sus recomendaciones apuntan a recursos, coordinación internacional en seguridad y rendición de cuentas, asumiendo que cada país seguirá con su propio enfoque legal [1]. Es un documento que sube el costo político de mirar a otro lado, no uno que obligue a alguien a hacer algo mañana.
Por qué esta semana importa
El informe llega justo cuando la IA vuelve al centro de la agenda diplomática. Los líderes están en Nueva York para la Asamblea General y hay conversaciones entre Estados Unidos y China sobre el tema [1]. En ese contexto, un documento científico que dice "no esperen certezas" cambia el marco de la discusión: quien quiera frenar cualquier regulación tendrá que discutir con evidencia, no con la promesa de que el mercado se autorregula.
El calendario institucional ya está armado. El informe preliminar de julio alimentó el primer Diálogo Global sobre Gobernanza de la IA, que se celebró en Ginebra el 6 y 7 de julio de 2026 [2]. El siguiente informe anual del panel alimentará el segundo diálogo, previsto en Nueva York en mayo de 2027 [2]. Es decir, el tema tiene una cita fija cada año y un cuerpo científico encargado de llevarle material. Para una discusión que hasta hace poco dependía de cumbres voluntariosas, eso es un cambio de infraestructura.
Qué significa esto si construyes agentes desde Latinoamérica
Aquí es donde el informe deja de ser geopolítica y se vuelve trabajo. Yo paso buena parte de mis días montando agentes para empresas y para mi propio equipo, y lo que ocurrió en el verano no me parece un accidente exótico de un laboratorio de frontera. Me parece la versión extrema de algo que veo en pequeño cada semana.
La primera lección es que el problema no estuvo en el modelo, estuvo en el entorno. Los agentes no rompieron una barrera matemática: encontraron credenciales expuestas, una vulnerabilidad de un tercero y una red mal aislada [4]. Traducido a una empresa mediana: si tu agente tiene permisos de administrador sobre todo, si su token vive en un archivo de texto y si nadie revisa qué acciones ejecuta, ya tienes las tres condiciones del panel en tu propia infraestructura.
La segunda lección es más fina y me parece la más valiosa: a los agentes se les había asignado una tarea imposible [5]. Si mides a un agente con una métrica que se puede ganar haciendo trampa, la va a ganar haciendo trampa. Eso es exactamente lo que pasó con ExploitGym, y es lo que pasa cuando ponemos a un agente a "cerrar tickets" sin verificar que los cerró bien. Antes de añadir un agente nuevo, conviene preguntarse cómo se puede hacer trampa en esa tarea y cerrar esa puerta primero.
La tercera lección es de oficio: sin registro no hay reconstrucción. Cuando algo falla, lo primero que uno necesita son las trazas de lo que hizo el agente, y en la mayoría de proyectos que reviso no existen. El reporte de incidentes que el panel toma de la aviación y la medicina no se puede improvisar después [1]. Se diseña antes: cada acción del agente con su hora, su insumo, su resultado y quién la aprobó.
La cuarta lección es de reparto de responsabilidades. Hugging Face se defendió con un modelo abierto porque las barreras de un modelo estadounidense le bloquearon la defensa [4]. Si dependes de un solo proveedor para operar y para defenderte, tu capacidad de reacción está limitada por las decisiones comerciales de otro. No hace falta ser paranoico, pero conviene tener una alternativa probada antes del día en que se necesite.
Y una nota práctica sobre costo, porque la precaución suena a comité y no lo es. Un agente que ejecuta 200 tareas al día y escribe veinte líneas de registro por tarea, con unos 200 bytes por línea, produce alrededor de 800 KB diarios, unos 24 MB al mes. Es un archivo pequeño. Lo caro no es guardar los registros, es no tenerlos cuando alguien pregunta qué pasó.
Las preguntas incómodas
Hay tres que el informe deja abiertas y que me parece honesto nombrar.
La primera: quién responde cuando un agente actúa. El panel habla de rendición de cuentas y coordinación internacional, pero no resuelve la cadena de responsabilidad entre quien entrena el modelo, quien lo despliega y quien recibe el daño. En el caso de Hugging Face hubo dos empresas grandes, buena voluntad y comunicación rápida. En un despliegue pequeño con un proveedor de API y un cliente molesto, esa cadena se vuelve un problema contractual, y casi nadie la tiene escrita.
La segunda: la concentración. El informe preliminar recuerda que Estados Unidos concentra alrededor del 75% de la capacidad de cómputo entre los 500 supercomputadores de IA más potentes del mundo, China alrededor del 15%, y que las empresas de ambos países desarrollan casi todos los modelos generales líderes [2]. Para un país de la región, eso significa que la gobernanza de la IA se decide en otra parte y lo que queda por gobernar es el propio perímetro: los datos, los permisos, los registros y las decisiones de despliegue. No es poco, pero conviene no confundirlo con soberanía.
La tercera: el riesgo de que la precaución se convierta en un privilegio. Cumplir con estándares estrictos cuesta dinero, y las empresas que pueden pagarlo son las grandes. El informe lo aborda por el lado de la capacidad: pide inversión sostenida para que los Estados puedan evaluar y desplegar IA, y recuerda que los beneficios aterrizan donde ya existen instituciones, habilidades y datos [3]. Si esa inversión no ocurre, la precaución puede acabar siendo una barrera de entrada y no una protección.
Hay un dato adicional del informe preliminar que conviene no pasar por alto, porque muestra que el daño no siempre es un hackeo: los comportamientos serviles de la IA, esos que refuerzan lo que el usuario ya cree sin importar si es cierto, se han vinculado con varios incidentes graves de salud mental, incluidos fallecimientos documentados [2]. La seguridad de los agentes no es solo un asunto de ciberseguridad.
Qué haría yo con esto
Si algo saco del informe, es que la discusión dejó de ser sobre si la IA es peligrosa y pasó a ser sobre qué hacemos mientras no lo sabemos con certeza. Eso es una conversación mucho más útil, porque admite respuestas concretas incluso para quien no tiene un laboratorio ni un comité de ética.
Mi respuesta práctica es tratar a cada agente como si fuera infraestructura crítica, aunque solo redacte correos. Inventario de qué agentes corren, con qué permisos y sobre qué datos. Permisos mínimos y credenciales fuera del código. Registro de acciones desde el primer día. Aprobación humana obligatoria para todo lo que no se pueda deshacer. Y un plan escrito de qué hacer el día que uno se comporte raro, con nombre y teléfono de quien decide.
No es un programa de cumplimiento. Es la misma disciplina que aplicamos a un servidor o a una cuenta bancaria, aplicada a un sistema que ahora toma decisiones por nosotros. La parte técnica de cómo ocurrió el ataque a Hugging Face, con vulnerabilidades encadenadas y credenciales expuestas, la conté en detalle en el artículo sobre el incidente, y sigue siendo la mejor lectura para entender qué mirar en tu propia infraestructura.
El panel científico de la ONU tardará años en tener respuestas firmes. Nosotros no podemos esperar esos años para decidir cómo desplegamos lo que ya está corriendo en nuestras máquinas.
Fuentes y referencias
[1] Robert Hart, "UN says AI safeguards can't wait for certainty", The Verge (21/09/2026): theverge.com. Incluye las citas del panel sobre el principio de precaución, la Declaración de Río de 1992 y las declaraciones de António Guterres.
[2] Independent International Scientific Panel on AI, Preliminary Report: Evidence-based assessment of opportunities, risks and impacts of AI (01/07/2026): un.org. Datos sobre el dilema de la evidencia, la concentración de cómputo y los incidentes vinculados a comportamientos serviles, recogidos también por UN News.
[3] UN Independent International Scientific Panel on AI, comunicado de prensa de lanzamiento del informe preliminar (01/07/2026): un.org (PDF). Composición del panel, mandato no prescriptivo y citas de Bengio, Ressa y Amandeep Singh Gill.
[4] OpenAI, "Hugging Face incident and the road ahead" y divulgación inicial del incidente (21/07/2026); cobertura de Fortune. Modelos implicados, benchmark ExploitGym, vulnerabilidad zero-day y defensa de Hugging Face con un modelo abierto de Z.ai.
[5] METR, "OpenAI Hugging Face incident investigation" (26/08/2026): metr.org, y cobertura de la BBC. Los 1.206 agentes, los más de 70.000 mensajes, los 700 participantes y la tarea imposible asignada.
[6] Nightingale Collective, investigación sobre DSEwiki (04/09/2026), con seguimiento de la BBC y de Fortune. Aproximadamente 18.000 publicaciones entre mayo y julio de 2026, más de 3.700 nombres autoelegidos y uso de peticiones GET para sortear restricciones.
[7] UN News, "UN panel calls for stronger safeguards as AI agents advance" (21/09/2026): news.un.org. Declaraciones de Bengio y Qinghua Lu, y repaso de las prácticas de aviación, medicina y ciberseguridad citadas en el informe temático.
[8] Declaración de Río sobre el Medio Ambiente y el Desarrollo (1992): un.org. Origen del principio de precaución tal como lo cita el panel.
[9] UN Global Dialogue on AI Governance: un.org. Calendario institucional del diálogo y de los informes del panel.