Imágenes desnudas con IA: La 'Ley Take It Down' en EE.UU. permitirá a los usuarios solicitar una eliminación rápida

Desde finales de diciembre de 2025, el chatbot de inteligencia artificial de X, Grok, ha respondido a las solicitudes de muchos usuarios de desnudar a personas reales convirtiendo fotos de las personas en material sexualmente explícito. Después de que las personas comenzaran a usar la función, la compañía de la plataforma social enfrentó un escrutinio global por permitir a los usuarios generar representaciones sexualmente explícitas no consentidas de personas reales.

La cuenta de Grok ha publicado miles de imágenes "desnudificadas" y sexualmente sugestivas por hora. Aún más perturbador, Grok ha generado imágenes sexualizadas y material sexualmente explícito de menores.

La respuesta de X: Culpen a los usuarios de la plataforma, no a nosotros. La compañía emitió un comunicado el 3 de enero de 2026, diciendo que "Cualquiera que use o incite a Grok a crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal". No está claro qué acción, si es que alguna, ha tomado X contra algún usuario.

Como académico legal que estudia la intersección de la ley y las tecnologías emergentes, veo esta avalancha de imágenes no consentidas como un resultado predecible de la combinación de las políticas de moderación de contenido laxas de X y la accesibilidad de poderosas herramientas de IA generativa.

Dirigirse a los usuarios

El rápido auge de la IA generativa ha llevado a innumerables sitios web, aplicaciones y chatbots que permiten a los usuarios producir material sexualmente explícito, incluida la "desnudificación" de imágenes de niños reales. Pero estas aplicaciones y sitios web no son tan ampliamente conocidos o usados como cualquiera de las principales plataformas de redes sociales, como X.

Las legislaturas estatales y el Congreso fueron algo rápidos en responder. En mayo de 2025, el Congreso promulgó la Ley Take It Down, que convierte en delito penal publicar material sexualmente explícito no consentido de personas reales. La Ley Take It Down criminaliza tanto la publicación no consentida de "representaciones visuales íntimas" de personas identificables como las representaciones generadas por IA u ordenador de personas identificables.

Esas disposiciones penales se aplican solo a cualquier individuo que publique el contenido sexualmente explícito, no a las plataformas que distribuyen el contenido, como los sitios web de redes sociales.

Sin embargo, otras disposiciones de la Ley Take It Down requieren que las plataformas establezcan un proceso para que las personas representadas soliciten la eliminación de las imágenes. Una vez que se envía una "Solicitud Take It Down", una plataforma debe eliminar la representación sexualmente explícita dentro de las 48 horas. Pero estos requisitos no entran en vigor hasta el 19 de mayo de 2026.

Problemas con las plataformas

Mientras tanto, las solicitudes de los usuarios para eliminar las imágenes sexualmente explícitas producidas por Grok aparentemente no han sido respondidas. Incluso la madre de uno de los hijos de Elon Musk, Ashley St. Clair, no ha podido conseguir que X elimine las imágenes sexualizadas falsas de ella que los fanáticos de Musk produjeron usando Grok. The Guardian informa que St. Clair dijo que sus "quejas al personal de X no llegaron a ninguna parte".

Esto no me sorprende porque Musk desmanteló el grupo asesor de Confianza y Seguridad de entonces-Twitter poco después de adquirir la plataforma y despidió al 80% de los ingenieros de la compañía dedicados a confianza y seguridad. Los equipos de confianza y seguridad suelen ser responsables de la moderación de contenido y las iniciativas para prevenir el abuso en las compañías tecnológicas.

Públicamente, parece que Musk ha desestimado la seriedad de la situación. Musk supuestamente ha publicado emojis de risa-llanto en respuesta a algunas de las imágenes, y X respondió a la consulta de un reportero de Reuters con la respuesta automática "Legacy Media Lies".

Límites de las demandas

Las demandas civiles como la presentada por los padres de Adam Raine, un adolescente que se suicidó en abril de 2025 después de interactuar con ChatGPT de OpenAI, son una forma de responsabilizar a las plataformas. Pero las demandas enfrentan una batalla cuesta arriba en los Estados Unidos dada la Sección 230 de la Ley de Decencia en las Comunicaciones, que generalmente inmuniza a las plataformas de redes sociales de responsabilidad legal por el contenido que los usuarios publican en sus plataformas.

El Juez de la Corte Suprema Clarence Thomas y muchos académicos legales, sin embargo, han argumentado que la Sección 230 ha sido aplicada de manera demasiado amplia por los tribunales. Generalmente estoy de acuerdo en que la inmunidad de la Sección 230 necesita ser reducida porque inmunizar a las compañías tecnológicas y sus plataformas por sus elecciones de diseño deliberadas — cómo se construye su software, cómo opera el software y qué produce el software — cae fuera del alcance de las protecciones de la Sección 230.

En este caso, X ha fallado consciente o negligentemente en implementar salvaguardas y controles en Grok para evitar que los usuarios generen imágenes sexualmente explícitas de personas identificables. Incluso si Musk y X creen que los usuarios deben tener la capacidad de generar imágenes sexualmente explícitas de adultos usando Grok, creo que en ningún mundo debería X escapar de la responsabilidad por construir un producto que genera material sexualmente explícito de niños de la vida real.

Barreras regulatorias

Si las personas no pueden responsabilizar a plataformas como X a través de demandas civiles, entonces le corresponde al gobierno federal investigarlas y regularlas. La Comisión Federal de Comercio, el Departamento de Justicia o el Congreso, por ejemplo, podrían investigar a X por la generación de Grok de material sexualmente explícito no consentido. Pero con los renovados lazos políticos de Musk con el Presidente Donald Trump, no espero investigaciones serias y rendición de cuentas en el corto plazo.

Por ahora, los reguladores internacionales han lanzado investigaciones contra X y Grok. Las autoridades francesas han comenzado investigaciones sobre "la proliferación de deepfakes sexualmente explícitos" de Grok, y el Consejo Irlandés por las Libertades Civiles y Digital Rights Ireland han instado firmemente a la policía nacional de Irlanda a investigar la "juerga masiva de desnudos". La agencia reguladora del Reino Unido, Oficina de Comunicaciones, dijo que está investigando el asunto, y los reguladores de la Comisión Europea, India y Malasia supuestamente también están investigando a X.

En los Estados Unidos, quizás el mejor curso de acción hasta que la Ley Take It Down entre en vigor en mayo es que las personas exijan acción de los funcionarios electos. – Rappler.com

El artículo apareció originalmente en The Conversation.

Wayne Unger, Profesor Asociado de Derecho, Universidad de Quinnipiac