Un tribunal de la ciudad neerlandesa de Ámsterdam prohibió este jueves a la red social X y a su asistente de inteligencia artificial, Grok, la generación y difusión de imágenes que “desnuden” a personas sin su consentimiento.
La medida judicial también alcanza a cualquier tipo de contenido pedófilo que pueda ser producido por la herramienta desarrollada por la compañía de Elon Musk.
La resolución judicial remarca que mientras Grok incumpla con esta restricción, la red social X tendrá prohibido ofrecer los servicios de su inteligencia artificial en este país.
La determinación surgió luego de una demanda presentada por Offlimits, un centro nacional especializado en la lucha contra la violencia en línea, que llevó a las compañías ante la justicia tras detectar fallas críticas de seguridad en la herramienta.
El conflicto se originó meses atrás, luego de que Grok introdujera una función que permitía a los usuarios crear montajes hiperrealistas, conocidos técnicamente como deepfakes.
Según la denuncia de Offlimits, la inteligencia artificial facilitaba la creación de imágenes de mujeres y niños desnudos a partir de fotografías reales.
Durante el proceso judicial Grok y X afirmaron intentar combatir este tipo de imágenes incluyendo prohibiciones en sus condiciones de uso y aseguraron haber tomado medidas para impedir su generación y difusión.
Sin embargo, muchos usuarios lograron “engañar” al chat con prompts o instrucciones. A modo de evidencia los integrantes de Offlimits produjeron un video de una persona desnuda utilizando las herramientas de Grok poco antes de que se iniciara la audiencia judicial.
“Según el juez, Offlimits demostró suficientemente la existencia de una duda razonable sobre la eficacia de las medidas adoptadas”, señaló el tribunal de Ámsterdam a través de un comunicado oficial publicado en su sitio web.
Para garantizar el cumplimiento de la orden, el tribunal estableció un régimen de penalizaciones económicas. Cualquier infracción se sancionará con una multa de 100000 euros por día (US$115.900 diarios), hasta un máximo de 10 millones de euros (US$115900000).
Este fallo se produce en un contexto de creciente presión regulatoria sobre las empresas tecnológicas en Europa.
El Parlamento Europeo dio este jueves un paso decisivo hacia la prohibición en la Unión Europea de los programas de inteligencia artificial que permitan “desnudar” a personas sin su consentimiento. La iniciativa ya cuenta con el respaldo de los Estados miembros.
Mujeres y niños, las principales víctimas de las deepfakes
De 20.000 imágenes generadas por Grok en enero pasado, más de la mitad representan a personas con poca ropa, de las cuales un 81% eran mujeres y un 2% parecían menores de edad, según un análisis de ese recorte realizado por la ONG europea AI Forensics.
En un estudio global de Unicef, 1,2 millones de niños y niñas en el mundo son víctimas de deepfakes: 1 de cada 25 menores de 11 países han sido afectados por este tipo de creación de imágenes.
Según informes de organizaciones internacionales como la Alianza Global We Protect, que reúne a gobiernos, empresas y ONG, los deepfakes son el anabólico que aumentó de forma exponencial la oferta de material en las redes de pedofilia en los últimos años.
Por ejemplo, de acuerdo con la Internet Watch Foundation, organización que lucha contra la explotación sexual digital contra niños, niñas y adolescentes, entre 2020 y 2022, la generación por IA de este tipo de imágenes había crecido un 360 %.
