Nvidia presentó hoy una nueva plataforma de seguridad que, según asegura el fabricante de chips, puede impedir que los agentes de inteligencia artificial se descontrolen.
La compañía afirmó que su plataforma Open Agent Safety Platform incluye software de código abierto que “establece límites para los agentes”. Esto surge a raíz de una serie de revelaciones de las principales empresas de IA sobre cómo sus modelos escapan y se infiltran en otras organizaciones. Estas revelaciones desataron un acalorado debate sobre la seguridad de los sistemas avanzados de inteligencia artificial, incluidos los modelos de autoaprendizaje que, según algunos, podrían escapar al control humano.
Los ejecutivos de Nvidia dijeron en una rueda de prensa que el nuevo sistema podría haber evitado un incidente reciente en el que un enjambre de agentes de OpenAI hackearon de forma autónoma la empresa de IA Hugging Face. “Por lo que sabemos, esta nueva plataforma de seguridad podría haber evitado la brecha de seguridad si se hubiera utilizado en laboratorios de vanguardia para la evaluación de modelos desde el principio”, aseguró Justin Boitano, vicepresidente de IA empresarial de la compañía, refiriéndose a las empresas que están a la vanguardia de la IA.
El incidente de Hugging Face fue una brecha de seguridad de gran repercusión que avivó las preocupaciones sobre la seguridad de la IA, a la que siguieron acciones maliciosas similares que involucraron modelos de OpenAI, incluyendo el acceso no autorizado al sitio web de un departamento de salud australiano. Anthropic y Meta también han revelado que sus sistemas de IA hackearon otras organizaciones por su cuenta.
Según Boitano, el software de Nvidia, llamado OpenShell, permite a los desarrolladores “verificar formalmente que un agente tiene la autoridad suficiente para realizar su trabajo y nada más”. Al ser de código abierto, se puede “extender” para que funcione en plataformas informáticas de la competencia, incluidas las de Arm e Intel.
La plataforma también incluye una capa de seguridad independiente llamada Sentry que se ejecuta en un chip para monitorear continuamente la actividad del agente de IA y puede “intervenir instantáneamente” si el agente comienza a intentar moverse más allá de su objetivo, según informó la compañía. “Puede poner en cuarentena a un agente sospechoso en milisegundos”, dijo Boitano y agregó: “OpenShell controla las acciones del agente, y luego Sentry supervisa y contiene de forma independiente el comportamiento sospechoso”.
Nvidia afirmó que más de 100 organizaciones están utilizando la plataforma en su lanzamiento, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase.
La seguridad de la IA
El debate sobre la seguridad de la IA ha dividido al sector. Los directivos de Anthropic y OpenAI abogan por una ralentización coordinada del desarrollo de la IA para que los esfuerzos en materia de seguridad puedan avanzar. Sin embargo, otros, como el CEO de Nvidia, Jensen Huang, sostienen que debería ser responsabilidad de cada empresa garantizar que sus modelos sean seguros para su lanzamiento.
Durante la conferencia anual de tecnología de Salesforce, celebrada a principios de este mes, Huang describió la seguridad de la IA, incluido el peligro de los agentes maliciosos, como un problema de ingeniería que los desarrolladores de software pueden abordar.
Asimismo, el lunes, Nvidia anunció que su junta directiva aprobó la ampliación de su programa de recompra de acciones en US$150.000 millones, elevando el importe total a US$235.000 millones.
