La UE investiga a X por supuestas fallas en la lucha contra contenido ilegal de Grok AI

En breve

• La UE ha iniciado una investigación para determinar si X evaluó adecuadamente los riesgos antes de desplegar las funciones de IA de Grok.
• La investigación examinará el cumplimiento de X con las obligaciones de la Ley de Servicios Digitales de la región.
• Marca la última ofensiva de Europa contra las deepfakes generadas por IA, con varios países prohibiendo Grok por preocupaciones sobre la seguridad infantil.

La Comisión Europea lanzó el lunes una investigación formal para determinar si X violó las normas digitales de la UE al supuestamente no impedir que su chatbot de IA Grok generara y difundiera contenido ilegal, incluyendo imágenes sexualmente explícitas de niños. La investigación evaluará si la empresa evaluó y mitigó adecuadamente los riesgos antes de desplegar las funciones de generación de imágenes de Grok, dijo la Comisión en un comunicado del lunes. La Comisión también afirmó que los riesgos se materializaron a través de la generación y difusión real de contenido sexual ilegal, exponiendo a los ciudadanos de la UE a daños graves. 

Esto ocurre en medio de un creciente escrutinio internacional sobre el papel de Grok en la creación de deepfakes no consensuados. Hace dos semanas, X implementó restricciones, limitando la generación de imágenes a suscriptores de pago, y añadió barreras técnicas para evitar que los usuarios manipularan digitalmente a las personas para que revelaran ropa. La empresa también bloqueó geográficamente la función en jurisdicciones donde dicho contenido es ilegal. A pesar de estas medidas, investigadores encontraron que aproximadamente un tercio de las imágenes sexualizadas de niños identificadas en la muestra de CCDH seguían accesibles en la plataforma de X. "Con esta investigación, determinaremos si X ha cumplido con sus obligaciones legales bajo la DSA, o si ha tratado los derechos de los ciudadanos europeos—incluidos los de mujeres y niños—como daños colaterales de su servicio”, dijo Henna Virkkunen, Vicepresidenta Ejecutiva de Soberanía Tecnológica, Seguridad y Democracia, en el comunicado.

A principios de este mes, el portavoz de la Comisión de la UE, Thomas Regnier, condenó la función “Modo Picante” de X en una conferencia de prensa en Bruselas. “Esto no es picante. Esto es ilegal. Esto es atroz. Esto es repugnante. No tiene lugar en Europa”, dijo Regnier. Fraser Edwards, cofundador y CEO de cheqd, dijo a Decrypt que “todo creador debería poder controlar cómo se usa su imagen en medios generados por IA.” Afirma que la “reacción negativa ante el abuso de deepfake subraya una falla básica de Internet en sí.” “Aún no existe una forma nativa de verificar quién creó un contenido sintético o si su uso fue autorizado alguna vez”, añadió Edwards, dejando la responsabilidad en intermediarios como X en lugar de en las personas responsables de generar el abuso. Si se demuestra, las fallas bajo investigación constituirían infracciones de los Artículos 34(1) y (2), 35(1) y 42(2) de la Ley de Servicios Digitales, que exigen a las plataformas evaluar y mitigar riesgos sistémicos, incluyendo la difusión de contenido ilegal y efectos negativos relacionados con la violencia de género. La investigación de la UE amplía un caso de la DSA a finales de 2023 que resultó en una multa de 140 millones de dólares (€120 millones) contra X en diciembre por diseño engañoso, fallos en la transparencia de anuncios y acceso limitado a investigadores. Desde entonces, la Comisión ha ampliado el escrutinio a Grok, incluyendo preocupaciones previas sobre contenido antisemita generado por el chatbot.

Decrypt se ha puesto en contacto con xAI para solicitar comentarios adicionales.