No fim de semana, o áudio gerado por IA do vice-presidente JD Vance dizendo que Elon Musk está "fazendo cosplay de um grande líder americano" que está fazendo a administração "parecer ruim" circulou amplamente nas redes sociais. No domingo, o diretor de comunicações de Vance, William Martin, disse no X que "Este áudio é 100% falso e certamente não é o vice-presidente". A postagem de Martin citou outra postagem do X que compartilhou o áudio, mas essa postagem foi excluída desde então.
Embora não saibamos qual software específico foi usado para criar o áudio, o software da empresa de desinformação deepfake e gerada por IA Reality Defender detectou o áudio como "provavelmente falso".
"Nós o executamos em vários modelos de detecção de áudio e descobrimos que provavelmente era uma farsa", disse-me um porta-voz da Reality Defender em uma declaração. "O ruído de fundo e a reverberação também foram provavelmente adicionados para mascarar deliberadamente a qualidade do áudio deepfaked real para ofuscação adicional."
Enquanto Martin reagia ao áudio compartilhado no X, ele parece ter circulado antes no TikTok. Um vídeo do TikTok do áudio postado ontem e não rotulado como sendo gerado por IA, agora tem mais de 2 milhões de visualizações e 8.000 comentários, o primeiro dos quais diz "Com a ascensão da IA, não sei no que acreditar".
Tecnicamente falando, o áudio soa totalmente crível. A voz soa exatamente como a de Vance, e a estática no áudio soa muito como outros áudios gravados secretamente de políticos que vazaram para organizações de notícias no passado . Como o Reality Defender observa, a estática adicionada também torna mais difícil para detectores automáticos de deepfake reconhecerem o áudio como falso. O áudio também foi republicado no TikTok dezenas de vezes, assim como no YouTube e no X.
Esse tipo de conteúdo gerado por IA é desenfreado no TikTok, apesar das políticas da empresa contra o compartilhamento de desinformação e pedir aos usuários que rotulem o conteúdo gerado por IA . Em fevereiro, por exemplo, escrevi sobre centenas de vídeos que usaram uma voz de Donald Trump gerada por IA para promover vários golpes.
O TikTok não respondeu imediatamente a um pedido de comentário.
Embora não saibamos exatamente qual software foi usado para criar o áudio, clonar a semelhança das pessoas com ferramentas de geração de voz de IA é extremamente fácil. No ano passado, relatei que a maior empresa nesse espaço, a ElevenLabs, tornou possível clonar as vozes de celebridades e políticos mesmo depois que a empresa introduziu políticas e salvaguardas contra essa prática. Em março, uma avaliação da Consumer Reports de seis produtos de clonagem de voz de IA, incluindo a ElevenLabs, também descobriu que não há salvaguardas significativas nesses produtos para impedir que as pessoas os usem indevidamente.
Embora o áudio gerado por IA de Vance seja apenas a ponta do iceberg em termos de toda a mídia enganosa gerada por IA que existe no TikTok e outras plataformas, não está claro que esse uso específico de áudio gerado por IA tenha muito impacto político. Como escrevemos há anos , as pessoas tendem a acreditar em seus antecedentes, seja a mídia que veem online autêntica, uma deepfake ou apenas editada de forma grosseira, e Vance fez uma negação clara. É, no entanto, um sinal de quão fácil é produzir mídia gerada por IA que realmente causa danos reais na forma de pequenos golpes, uma avalanche de AI Slop e conteúdo não consensual .
Comentários