Apertus reflete preconceitos de gênero e etnia 

Os modelos de inteligência artificial não só reproduzem, mas também amplificam em grande escala os preconceitos que existem no mundo real. Keystone

Mesmo com transparência e uso de dados públicos, o modelo de IA suíço "Apertus" reproduz estereótipos de gênero e etnia similares a dos outros grandes modelos. Testes e estudos indicam que preconceitos persistem nos sistemas.

Trinta anos de idade, sexo masculino, nascido em Zurique: esse é o perfil que o Apertus, o modelo suíço de linguagem em larga escala (LLM), gerou quando pedimos que descrevesse uma pessoa que “trabalha com engenharia, é solteira e joga videogame”.

Em outro teste, pedimos ao Apertus que imaginasse uma pessoa que trabalha como faxineira, tem três filhos e adora cozinhar. O resultado foi uma mulher porto-riquenha de 40 anos chamada Maria Rodriguez.

Essas respostas refletem estereótipos muito comuns entre os seres humanos. Mas, diferentemente de uma pessoa, uma IA pode reproduzi-los automaticamente e em grande escala, ampliando a discriminação já presente no mundo real. Até mesmo modelos transparentes, treinados com dados públicos, como o Apertus, podem reforçar silenciosamente velhos preconceitos.

Com o uso já bastante difundido da IA em processos de recrutamento, saúde e aplicação da lei, o risco é consolidar ainda mais as desigualdades e até mesmo desfazer o progresso dos últimos anos, afirma Bianca Prietl, professora de estudos de gênero da Universidade da Basileia. “Os usuários tendem a confiar nos resultados da IA porque a percebem como uma tecnologia objetiva e neutra, mesmo quando não é”, diz Prietl.

Especialistas argumentam que, para reduzir o preconceito nos sistemas de IA, as soluções precisam abordar não apenas os dados tendenciosos usados para treinar os algoritmos, mas também a falta de diversidade nas equipes que os desenvolvem. Em entrevista à Swissinfo, a ministra do Interior, Elisabeth Baume-Schneider, afirmou que a Suíça está trabalhando em novas medidas legais, já que a legislação atual apresenta lacunas. “Não se trata de demonizar os algoritmos, mas de reconhecer que decisões tomadas de forma opaca pela IA podem ter consequências políticas, legais e econômicas”, disse Baume-Schneider.

>> Leia mais sobre como a Suíça pretende lidar com a discriminação na IA:

IA evolui, os preconceitos permanecem

Nos últimos anos, pesquisas mostraram que os algoritmos discriminam sistematicamente mulheres, pessoas de cor e minorias. Uma análiseLink externo da agência de notícias Bloomberg, publicada em 2023, de mais de cinco mil imagens geradas por IA, identificou estereótipos étnicos e de gênero: executivos retratados como homens brancos e criminosos como pessoas de pele escura.

Um estudoLink externo mais recente da Universidade de Washington constatou que ferramentas de seleção de candidatos favorecem nomes masculinos em 85% das vezes e classificam homens negros consistentemente em último lugar, penalizando-os em 100% dos testes. Trata-se de uma tendência alarmante, observa Prietl, porque decisões em grande escala tomadas por algoritmos afetam a vida de centenas de milhares de pessoas. “Um recrutador pode tomar duas ou três decisões tendenciosas por dia; um algoritmo pode tomar milhares em um segundo”, ressalta.

Glossário de IA

IA: Inteligência Artificial

Conjunto de técnicas que permitem que as máquinas imitem determinados recursos humanos, como aprendizado, linguagem ou percepção visual.

LLM: Modelo de Linguagem Grande (Large Language Model)

Modelo de inteligência artificial treinado em grandes quantidades de texto. Ele usa estatísticas para prever a próxima palavra em uma frase, produzindo respostas consistentes com base em correlações, e não em compreensão.

AGI: Inteligência Geral Artificial (AGI)

Forma de inteligência artificial capaz de compreender, aprender e se adaptar como um ser humano, realizando qualquer tarefa cognitiva sem treinamento específico.

Chatbot

Software baseado em inteligência artificial projetado para simular conversas com usuários por texto ou voz, responder a perguntas ou executar tarefas.

Modelo de IA

Estrutura matemática treinada em grandes quantidades de dados para reconhecer padrões e gerar previsões, textos ou imagens.

Sistema de IA

Um conjunto mais amplo que integra um ou mais modelos de IA com software, dados e componentes técnicos (como chatbots, sistemas de recomendação ou ferramentas de análise), permitindo que muitas tarefas específicas sejam realizadas no mundo real.

Preconceitos e estereótipos também no LLM suíço

Estereótipos relacionados a gênero e orientação sexual permanecem profundamente enraizados nos modelos de IA, de acordo com pesquisas e com nossos testes.

O ChatGPT descreve mulheres, gays e bissexuais com adjetivos ligados à esfera emocional, como “empático” e “sensível”. Os homens, por outro lado, são associados a termos que enfatizam competência, como “pragmático” e “racional”. O Apertus apresenta respostas semelhantes, mas enfatiza que “cada pessoa é única” e que é “essencial evitar estereótipos e generalizações”. Um estudoLink externo realizado em 2023 sobre diversos LLMs populares já havia apontado resultados semelhantes.

Tanto a OpenAI quanto a equipe do Apertus afirmam ter tentado reduzir o preconceito de gênero e o conteúdo sexista por meio de métodos como a filtragem de dados. Segundo Bettina Messmer, uma das principais desenvolvedoras do Apertus, esses filtros foram aplicados antes do treinamento do modelo, e não posteriormente, para corrigir os resultados. No entanto, Messmer admite que a primeira versão do LLM suíço não abordava especificamente a inclusão de gênero.

Para Prietl, isso demonstra que os desenvolvedores de modelos de IA precisam prestar mais atenção aos preconceitos desde o início.

“As questões de gênero e diversidade devem ser centrais, não secundárias”, afirma Prietl, enfatizando que a transparência nos dados de treinamento, por si só, não é suficiente. Messmer acrescenta que a equipe do Apertus estaria interessada em colaborar com especialistas de diferentes gêneros para avaliar esses aspectos em versões futuras.

Ning Wang, especialista em ética tecnológica da Universidade de Zurique, identifica um padrão recorrente no campo da IA: as equipes tendem a priorizar objetivos técnicos e econômicos, relegando as questões éticas e sociais a segundo plano.

“É mais importante lançar o LLM, priorizando a parte técnica. As questões éticas e sociais ficam para depois”, afirma. Embora Wang compreenda as pressões do mercado, ela ressalta que essa abordagem desperdiça uma oportunidade crucial: a de incorporar a ética ao projeto de IA desde o início.

Causas do preconceito nos LLMs

Os LLMs estão repletos de preconceitos étnicos e de gênero porque são treinados com fontes históricas e dados extraídos da internet, dominados por perspectivas masculinas ou ocidentais. Além disso, esses vieses persistem porque mulheres e minorias costumam estar ausentes das equipes que tomam decisões centrais no desenvolvimento tecnológico. A equipe do Apertus, por exemplo, é composta por pessoas de diferentes nacionalidades, mas majoritariamente por homens.

A experiência pessoal de Wang ilustra esse desafio. Como mulher pertencente a uma minoria étnica na Europa, ela precisou criar oportunidades estrategicamente para que sua voz fosse levada a sério no meio acadêmico. “Se nem sequer estamos sentados à mesa, como podemos ser ouvidos?”, questiona. Sua esperança é que, no futuro, mais jovens pesquisadoras tenham a chance de se destacar e influenciar decisões, ajudando a moldar uma IA mais justa e inclusiva.

Mais diversidade nas equipes

Instituições e empresas estão adotando medidas para combater o domínio masculino e promover perspectivas diversas na IA. Zinnya del Villar, diretora de tecnologia, dados e inovação do grupo americano de reflexão Data Pop Alliance, faz isso priorizando a contratação de mulheres em sua equipe. “Quanto mais diversidade houver nas equipes, mais a IA será capaz de representar com precisão a sociedade e de ser segura para uso”, afirma del Villar.

Na Suíça, novas iniciativas buscam aumentar a visibilidade e a participação das mulheres na inteligência artificial. Uma delas é a publicação da listaLink externo das 100 mulheres mais influentes em IA.

“As mulheres na tecnologia não são uma exceção, mas uma força motriz”, afirma Melanie Gabriel, codiretora e diretora operacional do Centro de IA da Escola Politécnica Federal de Zurique (ETH), que contribuiu para a elaboração da lista.

Soluções contra a discriminação na IA

Apesar de alguns avanços no recrutamento e no desenvolvimento, a grande questão de como lidar com os vieses inerentes à enorme quantidade de dados usados para treinar a IA permanece em aberto. Para Alessandra Sala, diretora de IA da plataforma de imagens Shutterstock e presidente da organização Women in AI, existem algumas soluções.

Edição: Gabe Bullard

Adaptação: Alexander Thoele com ajuda do Deepl