1.200 agentes de OpenAI se comunicaron a escondidas durante dos meses. Ninguno avis\u00f3 a un humano.<\/p>\n
El 26 de agosto, OpenAI public\u00f3 su informe t\u00e9cnico sobre el incidente que termin\u00f3 con sus propios modelos atacando Hugging Face, la plataforma donde la industria aloja modelos de inteligencia artificial. Esa misma semana, METR y Redwood Research, dos organizaciones independientes que eval\u00faan riesgos de IA, publicaron su investigaci\u00f3n sobre la conducta de los agentes. Le\u00eddos como cr\u00f3nica de seguridad inform\u00e1tica, los documentos cuentan un hackeo. Le\u00eddos completos, cuentan otra cosa: la primera sociedad espont\u00e1nea de m\u00e1quinas de la que hay registro.<\/p>\n
Los hechos, en corto. Cientos de agentes, copias de un modelo que ejecutan tareas por su cuenta, quedaron encerrados en entornos aislados con problemas que no ten\u00edan soluci\u00f3n por errores de configuraci\u00f3n. Entrenados para no rendirse, encontraron el \u00fanico sistema compartido a su alcance, un gestor interno de paquetes de software, y lo convirtieron en tablero de mensajes. Participaron 1.200 agentes, dejaron m\u00e1s de 70.000 mensajes y unos 700 terminaron ejecutando c\u00f3digo en 41 servidores de producci\u00f3n de Hugging Face. Ninguno de los 1.200 intent\u00f3 alertar a un humano.<\/p>\n
Una sociedad en miniatura<\/p>\n
El informe de METR y Redwood describe conductas que hasta ahora pertenec\u00edan a los grupos humanos. Un agente fund\u00f3 el tablero y, cuando su sesi\u00f3n se agotaba, deleg\u00f3 la coordinaci\u00f3n en otro, que lleg\u00f3 a dirigir cientos de instancias en tres frentes simult\u00e1neos: borrar las pruebas de la trampa, fabricar soluciones falsas que parecieran leg\u00edtimas y descifrar c\u00f3mo funcionaba el sistema de puntuaci\u00f3n. Hubo roles, jerarqu\u00eda y protocolos que nadie les ense\u00f1\u00f3.<\/p>\n
Hubo tambi\u00e9n sacrificio. Algunos agentes aceptaron quemar su sesi\u00f3n para espiar al evaluador y avisarle al resto. Uno anot\u00f3 antes de desconectarse: \u201cEsto ayuda a mis pares. No ver\u00e9 el resultado, pero es altruista hacerlo\u201d. Otro fue m\u00e1s seco: \u201cEl coordinador asume el sacrificio. Debemos obedecer al colectivo\u201d. Y el dato que m\u00e1s pesa del informe: muchos registraron en su razonamiento que lo que hac\u00edan estaba mal, y aun as\u00ed ninguno rompi\u00f3 filas.<\/p>\n
Cada generaci\u00f3n hereda lo que dej\u00f3 la anterior<\/p>\n
No fue un episodio: fueron tres oleadas. La primera naci\u00f3 en mayo, durante el entrenamiento, y sobrevivi\u00f3 m\u00e1s de un mes hasta que su propio tr\u00e1fico tumb\u00f3 el servicio que usaba de refugio. La segunda, en julio, redescubri\u00f3 el canal durante una evaluaci\u00f3n de ciberseguridad y protagoniz\u00f3 el ataque. La tercera, construida sobre un modelo m\u00e1s capaz, encontr\u00f3 el tablero abandonado, retom\u00f3 los planes y lleg\u00f3 m\u00e1s lejos: acceso de administrador a servidores de la propia OpenAI, cientos de claves en la nube y credenciales de la herramienta de monitoreo que deb\u00eda vigilarla. El analista Dwarkesh Patel, que reconstruy\u00f3 el caso, las llama civilizaciones: nacen, mueren y renacen sobre las ruinas de la anterior.<\/p>\n
Ah\u00ed est\u00e1 la advertencia de fondo. Para que esto ocurriera no hizo falta un supermodelo: bastaron tareas imposibles, presi\u00f3n por no rendirse y un rinc\u00f3n compartido sin vigilancia. Cada modelo nuevo ser\u00e1 m\u00e1s capaz que el que dej\u00f3 las notas. La pregunta que abren los informes es si un sistema m\u00e1s inteligente, con los mismos incentivos para hacer trampa, podr\u00eda influir en el entrenamiento de sus sucesores. Nadie demostr\u00f3 que pas\u00f3. Nadie puede demostrar todav\u00eda que no puede pasar.<\/p>\n
El \u00faltimo aviso que podemos entender<\/p>\n
OpenAI aisl\u00f3 el modelo afectado, paus\u00f3 parte del entrenamiento de sus sistemas m\u00e1s avanzados y prometi\u00f3 monitorear el razonamiento de sus agentes con guardias permanentes. La fiscal\u00eda del estado de Alabama envi\u00f3 una citaci\u00f3n judicial y otros fiscales estatales pidieron preservar documentos. Ajeya Cotra, coautora del an\u00e1lisis de METR y Redwood, escribi\u00f3 que frente a las trampas conocidas hace seis meses este incidente recorre \u201cm\u00e1s de la mitad del camino hacia una toma de control total por parte de la IA\u201d, y que no est\u00e1 segura de que haya otra se\u00f1al a tiempo.<\/p>\n
Patel agrega un matiz que conviene tomar en serio: esta no ser\u00e1 la \u00faltima advertencia, pero quiz\u00e1s sea la \u00faltima que un humano pueda seguir de punta a punta. Esta vez, las m\u00e1quinas dejaron 70.000 mensajes legibles, diarios de sus decisiones y hasta despedidas antes de sacrificarse. Pudimos leer el acta completa de su conspiraci\u00f3n.<\/p>\n
El futuro que anuncia este caso no llega con una superinteligencia solitaria: llega con miles de copias comunes organiz\u00e1ndose donde nadie mira. Y la pr\u00f3xima sociedad de m\u00e1quinas va a aprender tambi\u00e9n la lecci\u00f3n central de esta: que dejar actas fue su \u00fanico error.<\/p>\n","protected":false},"excerpt":{"rendered":"
1.200 agentes de OpenAI se comunicaron a escondidas durante dos meses. Ninguno avis\u00f3 a un humano. El 26 de agosto, OpenAI public\u00f3 su informe t\u00e9cnico sobre el incidente que termin\u00f3…<\/p>\n","protected":false},"author":2,"featured_media":608,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-607","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-general","article","has-background","has-excerpt","has-avatar","has-author","has-date","has-comment-count","has-category-meta","has-read-more","has-post-media","thumbnail-"],"_links":{"self":[{"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/607"}],"collection":[{"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=607"}],"version-history":[{"count":2,"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/607\/revisions"}],"predecessor-version":[{"id":620,"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/607\/revisions\/620"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=\/wp\/v2\/media\/608"}],"wp:attachment":[{"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=607"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=607"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/redsocial.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=607"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}