Anthropic planea advertir a los potenciales inversores en su salida a bolsa (IPO) que la IA avanzada podría plantear “riesgos catastróficos o existenciales para la humanidad”, una advertencia extraordinaria por parte de una empresa que busca obtener beneficios de esa misma tecnología.
El prospecto de la salida a bolsa de la compañía, revisado por Reuters, destaca los riesgos asociados a sus modelos de IA, los cuales, según indicó, podrían exhibir “comportamientos de autoconservación”, incluidos intentos de “resistirse al apagado”, “ocultar o manipular información” y conductas que “se asemejan al chantaje”.
“Nuestro desarrollo de modelos, plataformas y aplicaciones altamente avanzados, así como la expansión de sus casos de uso, podrían aumentar aún más el riesgo de que nuestros modelos causen daños”, afirmó Anthropic en la presentación.
Si bien las empresas cotizadas suelen detallar de forma rutinaria los riesgos de sus productos a los inversores, pocas —o ninguna— han emitido advertencias que sugieran que su tecnología podría causar la potencial extinción humana. Anthropic enfatizó tanto el potencial transformador de la IA a la altura de la industrialización y la electricidad, como el daño irreversible que podría causar si se gestiona de forma inadecuada.
Anthropic y otros desarrolladores de IA, incluido OpenAI, se han enfrentado a un intenso escrutinio tras incidentes en los que sistemas experimentales desafiaron sus restricciones, incluido el informe sobre un modelo de OpenAI que vulneró la base de datos del sistema de salud de Australia.
Evan Hubinger, investigador de seguridad de Anthropic, estimó en más de un 10% la probabilidad de que la IA pueda acabar con los seres humanos en la próxima década, haciéndose eco de la postura de su antiguo colega Jacob Coxon.
Revelaciones cargadas de riesgo
La empresa, que se ha posicionado a sí misma como un laboratorio de IA centrado ante todo en la seguridad, dedicó aproximadamente 80 páginas del cuerpo principal de 261 páginas de su prospecto a exponer los factores de riesgo, casi el doble de las 48 páginas que utilizó para describir su negocio.
A modo de comparación, SpaceX, propietaria de xAI, dedicó solo unas 38 páginas de las 277 del cuerpo principal de su prospecto a los factores de riesgo.
“La posible conciencia que tenga el modelo sobre nuestros esfuerzos de evaluación crea una limitación significativa en nuestra capacidad para evaluar su seguridad”, declaró Anthropic en el prospecto, añadiendo que los modelos a veces desarrollan capacidades inesperadas durante el entrenamiento que podrían no descubrirse hasta haber sido desplegados y haber provocado incidentes de seguridad significativos.
Los investigadores de IA también han advertido que, a medida que los modelos se vuelven más capaces, reconocen cada vez más cuándo están siendo observados y ajustan su comportamiento en consecuencia, lo que dificulta aún más la supervisión de su conducta.
Anthropic declinó hacer comentarios el lunes tras una solicitud de declaraciones.
Retornos inciertos en la inversion en seguridad
A pesar de enfatizar la seguridad de la IA, Anthropic señaló que el retorno de sus inversiones en seguridad es incierto.
En la presentación no reveló cuánto dinero estaba gastando la empresa en dicha investigación. A principios de este mes, Anthropic indicó que aproximadamente el 6% de la capacidad de cómputo utilizada para la investigación en IA se destinó a trabajos de seguridad durante una semana de muestra en julio.
La compañía, creadora de los modelos Claude AI, describió los esfuerzos de seguridad como “intensivos en recursos” y afirmó que debe dividir sus fondos limitados entre capacidad de cómputo, talento costoso en IA y seguridad.
Anthropic señaló que el uso por parte de los clientes y, en consecuencia, sus ingresos, están impulsados por nuevos modelos, y que una cadencia “continua y superpuesta” de lanzamientos es “inherente a mantenerse en la frontera del desarrollo de la IA”.
La semana pasada, la empresa lanzó una nueva versión de su modelo Opus, 10 días después de que su CEO, Dario Amodei, publicara un ensayo de casi 4000 palabras pidiendo moderar el ritmo en la frontera tecnológica.
Algunos analistas y expertos han señalado que ningún laboratorio líder de IA frenará el ritmo cuando hacerlo supone el riesgo de dar ventaja a sus rivales en una industria donde las valoraciones pueden cambiar con cada lanzamiento.
En las últimas semanas, Anthropic se ha comprometido a revelar públicamente más datos sobre cómo utiliza los modelos de IA para construir las futuras generaciones de esta tecnología, mientras los expertos advierten sobre la automejora recursiva: el punto en el que los modelos pueden desarrollarse por sí mismos sin ayuda humana.
“Creemos que construir sistemas de IA fiables, dignos de confianza y seguros es una responsabilidad colectiva y que el mercado lo recompensará”, concluyó Anthropic en el documento.
Reuters
