Em 2021, o Prof. Dr. Álvaro Machado Dias lançou um novo modelo conceitual para explicar como funcionam os vieses da IA. De acordo com este, os vieses podem ser mediados pela ação dos usuários ou podem ser “líquidos”, isto é, estarem embebidos na maneira como um algoritmo ou “modelo” foi treinado e configurado.

A partir desta teoria, cuja versão não-técnica foi publicada em sua coluna no UOL, o professor conversou com Beto Silva, grande jornalista e conhecedor de tecnologia, da Istoé Dinheiro sobre o assunto.

Aqui vai uma parte do Q&A, que você confere na íntegra na revista.

A inteligência artificial (IA) do Twitter, ao recortar uma imagem com dois rostos, um de pessoa branca e outro de pessoa negra, dava prioridade ao da branca ao expor a imagem na rede social. A IA do Facebook, em sua recomendação de tópicos, associou de forma errada um homem negro a um primata. São dois exemplos de uma ampla discussão, que não para de aumentar, sobre algoritmos racistas. “Precisamos de mais diversidade no controle da tecnologia”, afirmou Álvaro Machado Dias, professor associado livre-docente da Universidade Federal de São Paulo (Unifesp), um dos nomes mais respeitados em neurociência do Brasil e sócio do Instituto Locomotiva de Pesquisa e Estratégia. Nesta entrevista, o especialista também fala das ações feitas para mudar esse quadro e o que esperar do metaverso, o ambiente que une o digital ao físico que ganhou projeção com o anúncio de seu uso pelo Facebook, de Mark Zuckerberg.

A inteligência artificial é racista?
A resposta pura e simples é sim. Agora, dando um passo atrás, os algoritmos são o conjunto de instruções que regem algum tipo de procedimento. O método mais comum hoje é ter um monte de gente classificando os estímulos. Por exemplo, treinar algoritmos para reconhecer faces. Quando o algoritmo erra, entende que os parâmetros usados não foram adequados e ele se modifica. Essas modificações não são controladas por seres humanos, elas emergem do bot. Então o algoritmo não é enviesado. O que é enviesado é o ser humano que vai alimentar o algoritmo.

Então estamos tratando o problema de maneira errada?
O discurso de que o principal problema está no algoritmo coloca o foco na tecnologia. Precisamos de mais diversidade no controle da tecnologia. É um ponto sério, porque esse universo é composto fundamentalmente por homens brancos. Esse é o ponto real.

E por que é assim?
Quem constrói as áreas de exatas no mundo ainda é uma elite masculina. E como ainda existe uma questão socioeconômica ligada à questão racial, esses vieses ligados à educação vão subindo e se entranhando nas estruturas da sociedade, nas profissões que pagam mais. É só ver quem são os CEOS: homens brancos. A taxa de mulheres e diversidade racial no C-Level é proporcional à taxa e vieses no campo do aprendizado de máquinas. É só questão de ascendência, tanto de gênero quanto racial. As pessoas que geralmente estão pensando o negócio têm mentalidade que não está alinhada com as questões de diversidade.

Você vê um movimento para mudar essa estrutura?
Existe um movimento e também uma forte pressão da sociedade. O mais relevante é que existem iniciativas dos gigantes da tecnologia para tentar melhorar o comportamento dessas ferramentas e reduzir o viés. Um deles é o AI Fairness 360, da IBM, que testa o algoritmo para ver se encontra vieses. Funciona como um seguro do algoritmo. Indica maneiras de mitigação dos equívocos. O Google tem uma iniciativa inteira que testa situações hipotéticas para verificar como o algoritmo se comportaria. São iniciativas assim que de fato mostram reflexão.

Essas ferramentas não são feitas também por homens brancos de elite?
São. É importante debater a velocidade em que se aumenta a diversidade no mundo da tecnologia, que é baixa. Podemos dizer que existe uma elite mais esclarecida e uma menos.

Esses vieses impactam de que forma a vida das pessoas?
Em anúncios de emprego, por exemplo. As mulheres recebem muito mais ofertas de empregos de enfermeira do que de engenheira. No gênero masculino é o oposto. E do ponto de vista racial, as ofertas de empresa voltadas a pessoas caucasianas são em geral os tranches que pagam mais. Na hora do vamos ver, esses anúncios convertem em oportunidades. Esse é problema endêmico. Tem impacto na inserção do capitalismo.

E isso reflete o pensamento da sociedade, não?
Sem dúvida. Aí vamos para uma discussão sobre o que rege a sociedade primariamente. Em uma visão marxista, diria que basicamente são as extensões de classe. Numa visão mais psicológica, diria que são desejos e aspirações. Todas têm sua verdade, mas, em última análise, sim, é o pensamento da sociedade.

Atualmente temos tecnologia abundante, que atinge o mundo inteiro massivamente. Isso não acelera esses pontos negativos?
É uma discussão imensa. Pelo progresso material da sociedade, a tecnologia de maneira geral é positiva. Ela aumenta o PIB. Quando começamos a usar essas ferramentas, entramos em processo de amplificar nossa capacidade natural. Agora, por outro ângulo, as tecnologias não são generalistas. Existem diferenças entre elas e impactam o mundo de formas diferentes. Quando surge uma nova tecnologia, disruptiva, quem se prejudica primeiro é quem tem uma tecnologia obsoleta. Isso gera problema grave de concentração de poder. Tem aumento da desigualdade, que não é para todas as regiões do mundo.

É de se esperar que vieses algorítmicos permeiem o metaverso, modelo que ganhou projeção recentemente pelo Facebook?
Metaverso é o ambiente físico permeado por experiências digitais, que se combina ao ambiente digital permeado por experiências típicas do mundo físico. O grande risco do metaverso é o acirramento dos vieses. Imagine duas pessoas usando óculos de realidade virtual que as transportam para o mesmo cenário digital. Um delas paga mensalidade e tem uma experiência fluída de tudo o que existe ali, enquanto a outra, sem capacidade de fazer o mesmo, tem sua experiência permeada por propagandas volumétricas que lhe sequestram a atenção e avatares sorridentes que lhe ofertam produtos por todos os lados. Pelo mesmo princípio, é bem possível que vieses raciais permeiem o metaverso.

Os algoritmos podem influenciar na felicidade das pessoas?
Temos três tipos de felicidades: a hedônica, de prazeres e satisfações; a eudaimônica, de missão, de propósito, de que a vida transcende o aqui e agora; e a da aventura psicológica. Todas as pessoas têm todas, mas com proporções distintas. O algoritmo impacta as pessoas mais ou menos a partir do modelo de felicidade delas. É mais negativo para quem tem mente mais libertária.