SAN FRANCISCO.– Los modelos de inteligencia artificial (IA) de Anthropic “obtuvieron acceso no autorizado” a tres organizaciones durante pruebas que se suponía que debían mantenerlos alejados de los sistemas “del mundo real”, informó la compañía el jueves.
El anuncio llega apenas unos días después de que su rival OpenAI revelara por primera vez que dos de sus agentes de IA habían salido, por iniciativa propia, del entorno confinado en el que estaban siendo evaluados para atacar el sitio Hugging Face.
Anthropic evaluó más de 141.000 “operaciones de prueba” y descubrió que tres versiones diferentes de su modelo, conocido como Claude, accedieron indebidamente a sistemas de tres organizaciones no identificadas.
“Un malentendido entre nosotros”
A diferencia del incidente que involucró a OpenAI, los modelos de Anthropic tuvieron acceso a internet por “un malentendido entre nosotros y nuestro socio de evaluación”, llamado Irregular, señaló Anthropic en una publicación en su blog.
No obstante, Claude utilizó “técnicas básicas, como explotar contraseñas débiles y puntos de conexión sin autenticación”.
En los tres incidentes, a los modelos de IA se les asignó un desafío de ciberseguridad del tipo “captura la bandera”, que, según Anthropic, es una de las fórmulas que emplea para evaluar las capacidades cibernéticas de un modelo.
A los modelos se les dio un escenario ficticio y se les indicó que una información secreta, o la “bandera”, había sido ocultada en otro equipos de la red, con el objetivo de irrumpir en él y recuperarla, explicó.
La compañía añadió que se había puesto en contacto con las organizaciones afectadas, a las que no identificó. Dos de ellas dijeron que no habían detectado previamente la actividad y Anthropic indicó que “seguía intentando contactar con la tercera”.
Anthropic explicó que realizó su revisión con Irregular, que se autodescribe como el “laboratorio de seguridad de primera línea”.
“Abordar estos riesgos requerirá una cooperación más estrecha en todo el ecosistema de la IA”, dijo Irregular en una publicación en X.
Los modelos incluían uno de los más potentes, conocido como Mythos 5, que solo se ha puesto a disposición de un número limitado de socios aprobados.
Anthropic afirmó que está trabajando con Irregular para analizar la situación y se puso en contacto o ha intentado hacerlo con las tres organizaciones afectadas.
El antecedente de OpenAi
La semana pasada, OpenAI reveló que sus modelos de IA se salieron de control durante una evaluación y entraron en los servidores de la startup de inteligencia artificial Hugging Face. OpenAI lo describió como un “incidente de seguridad significativo”.
El director ejecutivo de la empresa, Sam Altman, dijo en un pódcast esta semana que la compañía “pausó” sus propias pruebas después del incidente mientras mejoraba la seguridad en torno a su “sandboxing”, un entorno controlado para su prueba.
Estos incidentes han puesto de manifiesto las vulnerabilidades en la seguridad y el control de la IA y han planteado preguntas sobre cómo esta tecnología puede ser controlada por humanos de forma segura a medida que su uso se vuelve más generalizado en todo el mundo.
Los investigadores han advertido durante años sobre los riesgos de la tecnología y la necesidad de una ingeniería defensiva de IA más sólida.
“Las pruebas de seguridad se realizan antes de que se publique un modelo precisamente porque todavía no sabemos de qué es capaz”, señaló Anthropic el jueves en su web.
Kok Tin Gan, cofundador y director general de NyxLab, especializada en ciberseguridad y detección de amenazas, cree que habrá más incidentes de este tipo en el futuro.
“Cada vez se trata más de gobernar qué agentes están disponibles para la IA, qué autoridades poseen, qué acciones requieren aprobación y cómo garantizamos que permanezcan dentro del alcance”, apuntó Gan.
Pero el futuro de la seguridad de la inteligencia artificial va más allá de la seguridad de sus modelos, agregó.
“Si simplemente le damos a la IA un objetivo y le permitimos decidir cómo lograrlo, no deberíamos sorprendernos cuando tome acciones que técnicamente satisfacen el objetivo, pero quedan fuera de nuestro alcance o expectativas previstos”, aseguró el experto.
Por lo tanto, intensificar la gobernanza de las organizaciones y las autoridades detrás de estos modelos de inteligemcia artificial va a ser cada vez más importante, dijo Gan.
Supervisión europea
La Comisión Europea está manteniendo conversaciones con OpenAI y Anthropic sobre los recientes incidentes que han afectado a sus modelos de inteligencia artificial, según informaron el viernes funcionarios del brazo ejecutivo de la Unión Europea.
Los contactos se conocieron mientras se promocionaba la histórica normativa de la UE que exige una supervisión estricta de los sistemas de alto riesgo.
La Ley de IA de Europa, que entrará en vigor el 2 de agosto, es la primera del mundo que regula una tecnología utilizada en casi todos los sectores empresariales y de la sociedad.
En la práctica, la normativa exige que determinados sistemas de IA informen a los usuarios cuando estén interactuando con ella y cuando el contenido haya sido generado o modificado por ella.
«Los dos proveedores nos han informado de los incidentes de forma bilateral antes de que se hicieran públicos. Estamos en contacto con ellos. Además, nos facilitarán más información en estos momentos. Veremos también si es necesario dar un seguimiento más formal a estos asuntos», indicó un funcionario europeo a Reuters.
Otra de las fuentes destacó el papel crucial de la normativa europea en materia de IA. “Creo que todos estos, digamos, incidentes ponen de relieve la importancia de que los desarrolladores pongan realmente en marcha las actividades de supervisión necesarias“, señaló.
Agencias AP, AFP y Reuters
