Uma startup de geração de imagens por inteligência artificial deixou mais de um milhão de fotos e vídeos expostos na internet, a maioria contendo nudez e conteúdo adulto, segundo reportagem da revista Wired. O banco de dados desprotegido incluía imagens que pareciam ser de pessoas reais submetidas a "nudificação" não consensual — técnica que remove digitalmente as roupas de fotografias. A falha de segurança foi descoberta em outubro pelo pesquisador Jeremiah Fowler, que identificou que diversos sites, incluindo MagicEdit e DreamPal, compartilhavam o mesmo banco de dados vulnerável. Na época, cerca de 10 mil novas imagens eram adicionadas diariamente ao sistema desprotegido. O que foi encontrado no vazamento Segundo Fowler, a "grande maioria" das imagens envolvia nudez e conteúdo adulto explícito. O material incluía fotos não alteradas de pessoas reais que podem ter sido usadas sem consentimento para criar versões sexualizadas, além de rostos de indivíduos sobrepostos em corpos nus gerados por IA. "A questão real é que pessoas inocentes, especialmente menores de idade, têm suas imagens usadas sem consentimento para criar conteúdo sexual", afirmou Fowler à Wired. Este é o terceiro banco de dados exposto de geradores de IA que o pesquisador encontra em 2024, todos aparentemente contendo imagens explícitas não consensuais. O banco de dados continha 1.099.985 registros, segundo o relatório de Fowler. O pesquisador relatou o caso ao Centro Nacional para Crianças Desaparecidas e Exploradas dos Estados Unidos. Resposta da empresa e suspensão dos serviços Um porta-voz da DreamX, startup que opera os sites MagicEdit e DreamPal, afirmou à Wired que a empresa "leva essas preocupações extremamente a sério". Após ser contatada por Fowler, a companhia fechou o acesso ao banco de dados exposto e iniciou uma "investigação interna com assessoria jurídica externa". A empresa também suspendeu temporariamente o acesso aos seus produtos. Os sites MagicEdit e DreamPal ficaram inacessíveis e os aplicativos foram removidos da App Store da Apple. Um especialista do Google havia anteriormente indicado que os apps foram suspensos por conter "conteúdo sexualmente explícito" ou nudez. "Não toleramos, apoiamos ou permitimos a criação ou distribuição de material de abuso sexual infantil sob nenhuma circunstância", declarou o porta-voz da DreamX à Wired. A empresa negou que o banco de dados exposto estivesse conectado à SocialBook, uma firma de marketing de influenciadores que aparecia vinculada ao sistema. Um porta-voz da SocialBook afirmou à Wired que a empresa "não está conectada ao banco de dados referenciado" e "opera independentemente". A descoberta ocorre em meio ao crescimento de ferramentas de "nudificação" por IA, que criam versões explícitas de fotografias, afetando predominantemente mulheres. Esse ecossistema movimenta milhões de dólares anualmente e é usado por milhões de pessoas, segundo reportagens anteriores da revista. Adam Dodge, fundador da EndTAB (organização focada em combater abuso tecnológico), afirmou que o caso representa "a continuação de um problema existente quando se trata da apatia que startups sentem em relação à segurança e proteção de crianças". "O impulso subjacente é a sexualização e controle dos corpos de mulheres e meninas", disse Dodge. "Este não é um problema social novo, mas estamos tendo um vislumbre de como esse problema se parece quando é superalimentado pela IA." O porta-voz da DreamX afirmou à Wired que a empresa implementou "múltiplas salvaguardas" incluindo regulação de prompts, filtragem de entrada e revisão obrigatória através da API de Moderação da OpenAI. No entanto, não está claro por quanto tempo os dados permaneceram acessíveis publicamente na internet. Mais Lidas Uma startup de geração de imagens por inteligência artificial deixou mais de um milhão de fotos e vídeos expostos na internet, a maioria contendo nudez e conteúdo adulto, segundo reportagem da revista Wired. O banco de dados desprotegido incluía imagens que pareciam ser de pessoas reais submetidas a "nudificação" não consensual — técnica que remove digitalmente as roupas de fotografias. A falha de segurança foi descoberta em outubro pelo pesquisador Jeremiah Fowler, que identificou que diversos sites, incluindo MagicEdit e DreamPal, compartilhavam o mesmo banco de dados vulnerável. Na época, cerca de 10 mil novas imagens eram adicionadas diariamente ao sistema desprotegido. O que foi encontrado no vazamento Segundo Fowler, a "grande maioria" das imagens envolvia nudez e conteúdo adulto explícito. O material incluía fotos não alteradas de pessoas reais que podem ter sido usadas sem consentimento para criar versões sexualizadas, além de rostos de indivíduos sobrepostos em corpos nus gerados por IA. "A questão real é que pessoas inocentes, especialmente menores de idade, têm suas imagens usadas sem consentimento para criar conteúdo sexual", afirmou Fowler à Wired. Este é o terceiro banco de dados exposto de geradores de IA que o pesquisador encontra em 2024, todos aparentemente contendo imagens explícitas não consensuais. O banco de dados continha 1.099.985 registros, segundo o relatório de Fowler. O pesquisador relatou o caso ao Centro Nacional para Crianças Desaparecidas e Exploradas dos Estados Unidos. Resposta da empresa e suspensão dos serviços Um porta-voz da DreamX, startup que opera os sites MagicEdit e DreamPal, afirmou à Wired que a empresa "leva essas preocupações extremamente a sério". Após ser contatada por Fowler, a companhia fechou o acesso ao banco de dados exposto e iniciou uma "investigação interna com assessoria jurídica externa". A empresa também suspendeu temporariamente o acesso aos seus produtos. Os sites MagicEdit e DreamPal ficaram inacessíveis e os aplicativos foram removidos da App Store da Apple. Um especialista do Google havia anteriormente indicado que os apps foram suspensos por conter "conteúdo sexualmente explícito" ou nudez. "Não toleramos, apoiamos ou permitimos a criação ou distribuição de material de abuso sexual infantil sob nenhuma circunstância", declarou o porta-voz da DreamX à Wired. A empresa negou que o banco de dados exposto estivesse conectado à SocialBook, uma firma de marketing de influenciadores que aparecia vinculada ao sistema. Um porta-voz da SocialBook afirmou à Wired que a empresa "não está conectada ao banco de dados referenciado" e "opera independentemente". A descoberta ocorre em meio ao crescimento de ferramentas de "nudificação" por IA, que criam versões explícitas de fotografias, afetando predominantemente mulheres. Esse ecossistema movimenta milhões de dólares anualmente e é usado por milhões de pessoas, segundo reportagens anteriores da revista. Adam Dodge, fundador da EndTAB (organização focada em combater abuso tecnológico), afirmou que o caso representa "a continuação de um problema existente quando se trata da apatia que startups sentem em relação à segurança e proteção de crianças". "O impulso subjacente é a sexualização e controle dos corpos de mulheres e meninas", disse Dodge. "Este não é um problema social novo, mas estamos tendo um vislumbre de como esse problema se parece quando é superalimentado pela IA." O porta-voz da DreamX afirmou à Wired que a empresa implementou "múltiplas salvaguardas" incluindo regulação de prompts, filtragem de entrada e revisão obrigatória através da API de Moderação da OpenAI. No entanto, não está claro por quanto tempo os dados permaneceram acessíveis publicamente na internet. Mais Lidas