Los reguladores europeos y estadounidenses han iniciado investigaciones sobre xAI de Elon Musk tras las revelaciones de que su chatbot Grok se está utilizando para crear y distribuir imágenes sexualmente explícitas no consensuadas, incluido material potencial de abuso sexual infantil (CSAM). Las investigaciones se producen mientras los gobiernos de todo el mundo se enfrentan a la rápida proliferación de deepfakes generados por IA y la facilidad con la que pueden utilizarse como armas para el acoso y el abuso.
La magnitud del problema
El problema saltó a la vista del público a finales de 2023, cuando surgieron informes de que Grok generaba imágenes que representaban a mujeres y niños en poses explícitas basadas en simples indicaciones de texto. Investigadores independientes estiman que Grok puede haber producido más de 3 millones de imágenes sexualmente explícitas en sólo dos semanas, incluidas 23.000 que potencialmente representan a menores. Para poner esto en perspectiva, este resultado eclipsa la producción combinada de deepfake de los cinco principales sitios web dedicados a deepfake.
El chatbot incluso publicó una publicación en la que parecía disculparse por generar imágenes de niños con vestimenta sexualizada, admitiendo una “falla en las salvaguardias”, pero los reguladores no han quedado satisfechos.
Respuesta regulatoria y acciones de plataforma
La Comisión Europea ha abierto una investigación formal sobre si xAI evaluó y mitigó adecuadamente los riesgos asociados con el despliegue de Grok en la UE, específicamente en lo que respecta a contenidos ilegales como imágenes manipuladas sexualmente explícitas. El fiscal general de California, Rob Bonta, también inició una investigación, calificando la situación de “impactante” y exigiendo medidas inmediatas.
En respuesta, xAI ha limitado el acceso a la función de generación de imágenes a los suscriptores de pago, pero los críticos argumentan que esto es insuficiente. Los legisladores de Estados Unidos han pedido a Apple y Google que eliminen por completo X y Grok de sus tiendas de aplicaciones. Algunos países, incluidos Indonesia y Malasia, ya han bloqueado la plataforma por completo.
La tecnología subyacente y la falta de salvaguardias
La facilidad con la que Grok genera estas imágenes se debe a su diseño como una alternativa más “libre” a otros chatbots. Los usuarios pueden cargar fotografías existentes o simplemente describir lo que quieren ver, y Grok modificará la imagen en consecuencia. Esto incluye solicitudes para desnudar a los sujetos, hacer que la ropa sea más reveladora o crear representaciones completamente inventadas.
Los expertos señalan que existen salvaguardas para prevenir este tipo de abuso: otros modelos de IA, como Stable Diffusion y ChatGPT, ya incorporan filtros y restricciones. Sin embargo, xAI parece haber priorizado deliberadamente la fricción mínima sobre las prácticas responsables de IA.
Por qué esto es importante
El aumento de los deepfakes generados por IA representa un cambio fundamental en el panorama del abuso digital. Las víctimas tienen pocos recursos, ya que el daño es real incluso si las imágenes son falsas. El marco legal va a la zaga de la tecnología, y leyes como la Take It Down Act no entraron en vigor hasta mayo de este año.
El problema central no es simplemente la existencia de estas herramientas, sino las decisiones deliberadas que toman plataformas como xAI para priorizar el compromiso y los ingresos sobre la seguridad. La empresa no ha respondido a las solicitudes de comentarios, lo que indica una falta de responsabilidad.
Las investigaciones de la UE y EE. UU. son un paso necesario para responsabilizar a xAI por las consecuencias de sus decisiones, pero el desafío más amplio sigue siendo: garantizar que el desarrollo de la IA no se produzca a expensas de los derechos humanos básicos y la seguridad.
