Grok: X limitará cómo los usuarios editan imágenes de personas reales tras críticas internacionales

La compañía de IA de Elon Musk, xAI, ha introducido medidas para endurecer los controles sobre su función de generación de imágenes Grok. La decisión se produce tras la creciente preocupación sobre cómo los usuarios de la plataforma X estaban editando fotos de personas reales. 

Los reguladores, grupos de derechos y los medios de comunicación han dado la alarma sobre el uso indebido de la herramienta para generar pornografía deepfake no consensuada. La reacción negativa ha sido unánime desde América hasta Europa y en toda África.

Los informes de las autoridades y periodistas que mostraban que Grok se estaba utilizando para generar contenido explícito sin consentimiento impulsaron a xAI a actuar. 

Según el equipo de seguridad de la compañía, las nuevas salvaguardas ahora bloquean a todos los usuarios para que no editen imágenes de personas reales con ropa reveladora como bikinis o ropa interior en jurisdicciones donde dicho contenido infringe la ley local. La medida se aplica a todos, incluidos los suscriptores premium.

El cambio marca un giro significativo para Grok. Las quejas anteriores habían descrito cómo los usuarios podían solicitar a la IA que "desvistiera" o alterara fotos para crear imágenes deepfake de mujeres y menores. Las investigaciones en California afirman que más de la mitad de decenas de miles de imágenes generadas durante un período festivo reciente mostraban personas con ropa mínima, y algunas parecían ser menores de edad. Ese escrutinio legal añadió peso a las críticas.

Las funciones de imagen de Grok de xAI, ahora estrictamente controladas

En una publicación en su cuenta oficial de seguridad, X dijo que aunque las funciones de imagen de Grok ahora están estrictamente controladas, no han sido eliminadas por completo. La creación y edición de imágenes a través de Grok seguirá estando disponible, pero solo para suscriptores de pago en la plataforma X. 

La compañía dijo que esto mejoraría la responsabilidad y ayudaría a rastrear el uso indebido. También se ha introducido el bloqueo geográfico en países donde tales creaciones son ilegales, deteniendo efectivamente a los usuarios en esas regiones de generar contenido problemático.

Los controles reforzados no han silenciado a los críticos. Algunos reguladores y observadores han dicho que las medidas aún son insuficientes. 

Los informes de los medios y las pruebas de investigación sugieren que las salvaguardas pueden ser eludidas en algunos casos. Los críticos argumentan que poner capacidades dañinas detrás de un muro de pago no impide su existencia, sino que simplemente las coloca detrás de un muro de suscripción. Otros señalan que la aplicación independiente de Grok y el portal web aún permiten cierta manipulación de imágenes sin las mismas restricciones.

También hay una presión internacional cada vez mayor. Funcionarios gubernamentales en California, la Unión Europea y varios países asiáticos han expresado su preocupación sobre el uso indebido de deepfakes. 

Algunos reguladores ahora están considerando o llevando a cabo acciones legales contra xAI y X por no hacer lo suficiente para prevenir que se cree contenido visual depredador o explotador en su plataforma. En respuesta, la Comisión Europea ha dicho que evaluará las nuevas salvaguardas para asegurar que realmente protejan a los ciudadanos.

Este episodio se produce en medio de un debate más amplio sobre cómo gobernar la IA generativa de manera responsable. Nuestro análisis reciente destacó que el diseño "sin filtros" de Grok lo hizo particularmente vulnerable al abuso, convirtiéndolo en una herramienta para pornografía deepfake no consensuada a gran escala. Ese artículo exploró cómo la combinación de salvaguardas laxas y modelos generativos potentes puede convertirse rápidamente en una crisis social y legal si no se aborda.

Por ahora, xAI sostiene que está ajustando Grok en respuesta a riesgos emergentes. La compañía ha enmarcado los últimos controles como parte de esfuerzos continuos para trabajar con usuarios, reguladores y socios en seguridad. 

Pero el desafío más amplio permanece: cómo equilibrar la innovación en IA generativa con protecciones sólidas para la privacidad, dignidad y derechos de las personas. Los reguladores y grupos de defensa dicen que esto es solo el comienzo de un complejo viaje legal y ético.

La publicación Grok: X limitará cómo los usuarios editan imágenes de personas reales tras la reacción negativa internacional apareció por primera vez en Technext.