Um pequeno exército combatendo uma enxurrada de deepfakes nas eleições da Índia

No meio de uma eleição de alto risco realizada durante uma onda de calor alucinante, uma nevasca de deepfakes confusos atinge a Índia. A variedade parece infinita: mimetismo alimentado por IA, ventríloquo e efeitos de edição enganosos. Algumas delas são grosseiras, algumas brincalhonas, algumas são tão obviamente falsas que nunca se poderia esperar que fossem vistas como reais.

O efeito geral é confuso, aumentando o cenário das redes sociais já inundado de desinformação. O volume de detritos online é demasiado grande para qualquer comissão eleitoral acompanhar, e muito menos desmascarar.

Um grupo diversificado de vigilantes de verificação de fatos surgiu para preencher a lacuna. Embora as rodas da lei funcionem lenta e desigualmente, o trabalho de rastrear deepfakes foi assumido por centenas de funcionários governamentais e grupos privados de verificação de factos baseados na Índia.

“Temos que estar preparados”, disse Surya Sen, um oficial florestal do estado de Karnataka que foi transferido durante as eleições para gerir uma equipa de 70 pessoas que caça conteúdo fraudulento gerado por IA. “A mídia social é um campo de batalha este ano.” Quando a equipe de Sen encontra conteúdo que acredita ser ilegal, eles dizem às plataformas de mídia social para retirá-lo, divulgam o engano ou até mesmo pedem a apresentação de acusações criminais.

Celebridades tornaram-se alimento familiar para truques politicamente direcionados, incluindo Ranveer Singh, uma estrela do cinema hindi.

Durante uma entrevista gravada em vídeo com uma agência de notícias indiana no rio Ganges, em Varanasi, Singh elogiou o poderoso primeiro-ministro, Narendra Modi, por celebrar “a nossa rica herança cultural”. Mas não foi isso que os espectadores ouviram quando uma versão alterada do vídeo, com uma voz que parecia a do Sr. Singh e uma sincronização labial quase perfeita, circulou nas redes sociais.

“Chamamos isso de deepfakes com sincronização labial”, disse Pamposh Raina, que lidera a Unidade de Análise Deepfakes, um coletivo de empresas de mídia indianas que abriu uma linha de denúncias no WhatsApp onde as pessoas podem enviar vídeos e áudio suspeitos para serem examinados. Ela disse que o vídeo do Sr. Singh era um exemplo típico de filmagem autêntica editada com uma voz clonada por IA. O ator apresentou queixa à Unidade de Crimes Cibernéticos da polícia de Mumbai.

Nesta eleição, nenhum partido detém o monopólio do conteúdo enganoso. Outro clipe manipulado começou com imagens autênticas mostrando Rahul Gandhi, o oponente mais proeminente de Modi, participando do ritual mundano de prestar juramento como candidato. Em seguida, foi adicionado uma trilha de áudio gerada por IA.

Na verdade, Gandhi não renunciou ao seu partido. Este clipe também contém uma escavação pessoal, fazendo com que Gandhi parecesse dizer que “não poderia mais fingir ser hindu”. O partido governante Bharatiya Janata apresenta-se como um defensor da fé hindu e os seus oponentes como traidores ou impostores.

Às vezes, os deepfakes políticos se transformam no sobrenatural. Os políticos mortos conseguem regressar à vida através de imagens estranhas geradas pela IA que endossam as campanhas reais dos seus descendentes.

Em um vídeo que apareceu poucos dias antes do início da votação em abril, H. Vasanthakumar ressuscitado, que morreu de Covid-19 em 2020, falou indiretamente sobre sua própria morte e abençoou seu filho Vijay, que está concorrendo à antiga cadeira parlamentar de seu pai. no estado de Tamil Nadu, no sul. Esta aparição seguiu um exemplo dado por dois outros titãs falecidos da política Tamil, Muthuvel Karunanidhi e Jayalalithaa Jayaram.

O governo de Modi tem elaborado leis que deveriam proteger os indianos de deepfakes e outros tipos de conteúdo enganoso. Uma lei de “Regras de TI” de 2021 torna as plataformas online, ao contrário dos Estados Unidos, responsáveis ​​por todos os tipos de conteúdo censurável, incluindo personificações destinadas a causar insultos. A Internet Freedom Foundation, um grupo indiano de direitos digitais, que argumentou que estes poderes são demasiado amplos, está a acompanhar 17 contestações legais à lei.

Mas o próprio primeiro-ministro parece receptivo a alguns tipos de conteúdo gerado por IA. Dois vídeos produzidos com ferramentas de IA mostram dois dos maiores políticos da Índia, o Sr. Modi e Mamata Banerjee, um de seus mais ferrenhos oponentes, emulando um ataque viral Vídeo do youtube do rapper americano Lil Yachty fazendo “a caminhada mais difícil de todos os tempos”.

Sr. compartilhado o vídeo no X, dizendo que tal criatividade era “uma delícia”. Autoridades eleitorais como Sen em Karnataka chamaram isso de sátira política: “Uma estrela do rock de Modi está bem e não é uma violação. As pessoas sabem que isso é falso.”

A polícia de Bengala Ocidental, onde Banerjee é ministra-chefe, enviou avisos a algumas pessoas por postarem conteúdo “ofensivo, malicioso e incitante”.

Na busca por deepfakes, Sen disse que sua equipe em Karnataka, que trabalha para um governo estadual controlado pela oposição, percorre vigilantemente plataformas de mídia social como Instagram e X, procurando palavras-chave e atualizando repetidamente as contas de influenciadores populares.

A Unidade de Análise Deepfakes tem 12 parceiros de verificação de factos nos meios de comunicação, incluindo alguns que são próximos do governo nacional de Modi. Raina disse que sua unidade também trabalha com laboratórios forenses externos, incluindo um da Universidade da Califórnia, em Berkeley. Eles usam software de detecção de IA, como TrueMediaque verifica arquivos de mídia e determina se eles são confiáveis.

Alguns engenheiros experientes em tecnologia estão refinando o software forense de IA para identificar qual parte de um vídeo foi manipulada, até pixels individuais.

Pratik Sinha, fundador do Alt News, o mais venerável dos sites independentes de verificação de fatos da Índia, disse que as possibilidades dos deepfakes ainda não foram totalmente aproveitadas. Algum dia, disse ele, os vídeos poderão mostrar os políticos não apenas dizendo coisas que não disseram, mas também fazendo coisas que não fizeram.

Hany Farid ensina ciência forense digital em Berkeley há 25 anos e colabora com a Unidade de Análise Deepfakes em alguns casos. Ele disse que, embora “estejamos detectando os deepfakes ruins”, se falsificações mais sofisticadas entrassem na arena, elas poderiam passar despercebidas.

Na Índia, como em outros lugares, a corrida armamentista continua, entre deepfakers e verificadores de fatos – lutando de todos os lados. Farid descreveu este como “o primeiro ano, eu diria, que realmente começamos a ver o impacto da IA ​​de maneiras interessantes e mais nefastas”.