Pesquisadores comentam que a inteligência artificial não inventa violências, mas reflete e reproduz abismos sociais persistentes
Por Letícia Moreira
Segundo dados do Instituto Brasileiro de Governança em IA (IBGIA), sistemas de reconhecimento facial apresentam taxas de erros maiores para pessoas negras, em especial mulheres negras. No Brasil, não são isolados os casos de erros judiciais e prisões decorrentes de equívocos desse tipo, como relata a Defensoria Pública do Rio de Janeiro.
Um relatório da ONU Mulheres de 2023 revelou que 98% dos vídeos de deepfakes, mídias falsas manipuladas via IA, eram de conteúdos pornográficos – e 99% deles retratando mulheres. Já segundo o relatório da Internet Lab de 2025, imagens de meninas publicadas em redes sociais têm sido apropriadas por grupos criminosos para gerar material pornográfico e de abuso infantil com níveis de realismo alarmantes.
O uso cotidiano crescente de ferramentas de inteligência artificial generativa (IAG) evidencia uma contradição. Tecnologias desenvolvidas sob a promessa de eficiência e neutralidade reproduzem desigualdades sociais e infligem consequências para diversas pessoas – da violação de direitos básicos a violências físicas e psicológicas. Mecanismos de regulamentação, por sua vez, avançam lentamente.
Para Sandra Ávila, professora do Instituto de Computação da Unicamp, se uma ferramenta gera determinado dado, como pessoas ou cenas, é porque ela utiliza dados semelhantes. “Se há imagens de nudez ou abusos, por exemplo, essa informação foi passada no processo de treinamento da IA”, explicita.
Diferente de outros formatos de IA, os modelos generativos criam dados mais realistas, como imagens, vídeos e áudios, a partir de comandos textuais. Eles são treinados com grandes volumes de informação e operam com associações matemáticas obtidas por meio do “aprendizado profundo” (deep learning), que é operacionalizado por pessoas.
Vieses não são novos
Em 2015, um usuário do Google Fotos denunciou que a plataforma identificava erroneamente seus amigos negros como gorilas e macacos. Nas redes sociais, filtros de beleza que clareiam a tonalidade da pele e afinam traços como nariz e boca se popularizaram mundialmente na última década. Esses e outros episódios são exemplos concretos de como critérios humanos se incorporam às tecnologias digitais.
Para Ávila, os dados sempre carregam vieses, pois são selecionados, produzidos e organizados por seres humanos, que escolhem quais informações alimentam os sistemas, quais padrões e métricas definem seu funcionamento. “A pergunta que devemos fazer é quais são esses vieses. As máquinas não são racistas, mas as pessoas podem ser”, afirma.
A professora chama a atenção para o termo “aprendizado”, reforçando que as máquinas obedecem a comandos e trabalham por correlações matemáticas. Ela destaca que os grandes volumes de dados utilizados no treinamento dos sistemas de IA são provenientes, principalmente, de modelos desenvolvidos por empresas do Norte global, que nem sempre representam a realidade geral.
Além da codificação de discursos racistas em mídias sociais e bancos de imagem, a seletividade racial dos cargos técnicos e a concentração dos recursos em monopólios são exemplos do que Deivison Faustino e Walter Lippold chamam de “racialização codificada ou digital”. No livro Colonialismo digital: por uma crítica hacker-fanoniana, os autores notam que há uma distribuição tecnológica desigual que exclui grupos marginalizados do acesso e da produção técnica, como mulheres, pessoas negras e LGBTQIAP+.
Riscos e transparência algorítmica
O objetivo de uma ferramenta generativa não é produzir informações verdadeiras, mas gerar textos. Nesses modelos, o público tem acesso às respostas produzidas, mas não aos dados que os alimentam. Por isso, para Alessandra Oliveira, hackerativista e especialista em segurança digital, “precisamos desconfiar do que é produzido pela IA, só que isso exige um certo letramento”.
Para a especialista, a popularização da IAG está associada à sua facilidade de uso, já que não exige formação técnica. “Os comandos são dados por texto escrito, é preciso a alfabetização escolar, que muitas já possuem”.
Oliveira chama a atenção para os riscos à cidadania, uma vez que setores públicos também utilizam ferramentas de IA. “Uma falha na IA se torna um problema social em um contexto que já é racista, como, por exemplo, o sistema carcerário”. Ela atenta que a IA pode se tornar uma arma. “Quando utilizadas para mapear e identificar pessoas, essas ferramentas podem permitir o uso abusivo por parte de governos autoritários com foco, por exemplo, na perseguição de imigrantes”, complementa.
A ativista comenta ainda o efeito de “antropomorfização” e o risco de fornecimento de dados privados às máquinas: “as pessoas começam a enxergar a ferramenta como um ser consciente e acabam oferecendo dados pessoais sensíveis que a IA utiliza para aprimorar seu próprio treinamento, e isso coloca em risco a privacidade”, reflete.
Nesse contexto, cresce a demanda por transparência algorítmica. Mais do que revelar códigos ou bancos de dados, isso envolve que sistemas sejam auditados, que seus riscos sejam conhecidos e que haja mecanismos de responsabilização quando erros ou violações ocorrerem. “Como profissional de segurança, vejo que é importante que existam testes recorrentes nessas ferramentas, que os resultados sejam transparentes a respeito dos riscos e das correções aplicadas”, complementa Oliveira.
Para Sandra Ávila, as empresas tendem a não se preocupar com uma curadoria crítica dos dados ou desenvolver melhorias de segurança porque seu principal interesse é o lucro. “Se o negócio está funcionando e as empresas não são cobradas, elas não vão mudar o modo como operam. É preciso haver regulação e fiscalização”, comenta.
A professora destaca que os grandes modelos de IA não funcionam para todos os contextos. “Eles trabalham com dados que são nossos e nós não fazemos parte do conjunto de treinamento. Já tem pessoas e organizações se apropriando dessas tecnologias e apontando outros caminhos para produzir soluções, como no uso de softwares livres. Mas isso é um movimento de resistência”, declara.
Regulamentação e fiscalização
Para as especialistas, enfrentar esses riscos exige participação social ativa, auditorias independentes, investimento em educação e mecanismos efetivos de fiscalização, adequados às demandas e necessidades do contexto.
O Brasil discute hoje o marco regulatório do desenvolvimento e uso da inteligência artificial. O projeto de lei nº 2.688/2025, que institui o marco, foi recentemente aprovado na Comissão de Comunicação da Câmara dos Deputados e será analisado em outras comissões antes de seguir para votação no plenário.
Para a advogada Thaís Monteiro, como o marco não está totalmente em vigor, estamos ainda em uma área cinzenta para a proteção da pessoa. “Os mecanismos judiciais hoje se aplicam somente a alguns crimes, como a divulgação de deepfakes não consentidos, mas a remoção do conteúdo ainda é muito complicada, mesmo estando previsto na lei, na prática é outra coisa”, comenta.
A advogada vê com otimismo uma recente alteração no marco civil da internet, que regula o uso da rede no país: “o mais importante é que agora, quando há solicitação de remoção de conteúdo íntimo, as plataformas têm até duas horas para agir, sob pena de responsabilização.”
Soberania nacional e alternativas
Uma vez que essas tecnologias organizam a vida social, especialistas atentam à necessidade de independência tecnológica para construir soluções que atendam às demandas locais. Para Alessandra Oliveira, é preciso que as soluções se pautem em decisões coletivas. Nesse sentido, softwares livres podem facilitar o desenvolvimento da soberania tecnológica nacional.
“Nossa emancipação não depende de mais tecnologia, mas da forma como lidamos com ela e como tomamos decisões. Entender a nossa história é uma questão de soberania, porque precisamos ter autonomia para produzir nossas soluções e ferramentas”, comenta. No mesmo sentido, Sandra Ávila defende que é preciso haver uma conversa de diferentes áreas e setores sociais para elaborar soluções diferentes.
Letícia Moreira é divulgadora científica (bolsista Fapesp de Mídia Ciência) no INCT Caleidoscópio, mestra em multimeios (IA – Unicamp) e bacharel em comunicação – produção cultural (UFBA). Cursa a especialização em Jornalismo Científico e Cultural (Labjor/Unicamp).