Multiculturalismo, brasilidade e a sombra fantasmagórica paira sobre as IAs
Por Fábio de Oliveira Ribeiro
Diversidade, inclusão e não discriminação são requisitos essenciais exigidos pelas legislações que estão sendo discutidas e aprovadas para regular o desenvolvimento e utilização de IAs. Esses requisitos foram explicitamente mencionados no EU AI Act:
“1. Estão proibidas as seguintes práticas de IA:
a) A colocação no mercado, a colocação em serviço ou a utilização de um sistema de IA que empregue técnicas subliminares que contornem a consciência de uma pessoa, ou técnicas manifestamente manipuladoras ou enganadoras, com o objetivo ou o efeito de distorcer substancialmente o comportamento de uma pessoa ou de um grupo de pessoas prejudicando de forma considerável a sua capacidade de tomar uma decisão informada e levando, assim, a que tomem uma decisão que, caso contrário, não tomariam, de uma forma que cause ou seja razoavelmente suscetível de causar danos significativos a essa ou a outra pessoa, ou a um grupo de pessoas;
b) A colocação no mercado, a colocação em serviço ou a utilização de um sistema de IA que explore vulnerabilidades de uma pessoa singular ou de um grupo específico de pessoas devidas à sua idade, incapacidade ou situação socioeconómica específica, com o objetivo ou o efeito de distorcer substancialmente o comportamento dessa pessoa ou de uma pessoa pertencente a esse grupo de uma forma que cause ou seja razoavelmente suscetível de causar danos significativos a essa ou a outra pessoa;
c) A colocação no mercado, a colocação em serviço ou a utilização de sistemas de IA para avaliação ou classificação de pessoas singulares ou grupos de pessoas durante um certo período com base no seu comportamento social ou em características de personalidade ou pessoais, conhecidas, inferidas ou previsíveis, em que a classificação social conduza a uma das seguintes situações ou a ambas:
i) tratamento prejudicial ou desfavorável de certas pessoas singulares ou grupos de pessoas em contextos sociais não relacionados com os contextos nos quais os dados foram originalmente gerados ou recolhidos,
ii) tratamento prejudicial ou desfavorável de certas pessoas singulares ou grupos de pessoas que seja injustificado ou desproporcionado face ao seu comportamento social ou à gravidade do mesmo;
d) A colocação no mercado, a colocação em serviço para esta finalidade específica ou a utilização de um sistema de IA para a realização de avaliações de risco de pessoas singulares a fim de avaliar ou prever o risco de uma pessoa singular cometer uma infração penal, com base exclusivamente na definição de perfis de uma pessoa singular ou na avaliação dos seus traços e características de personalidade. Esta proibição não se aplica aos sistemas de IA utilizados para apoiar a avaliação humana do envolvimento de uma pessoa numa atividade criminosa, que já se baseia em factos objetivos e verificáveis diretamente ligados a uma atividade criminosa;
e) A colocação no mercado, a colocação em serviço para esta finalidade específica ou a utilização de sistemas de IA que criam ou expandem bases de dados de reconhecimento facial através da recolha aleatória de imagens faciais a partir da Internet ou de imagens de televisão em circuito fechado (TVCF);
f) A colocação no mercado, a colocação em serviço para esta finalidade específica ou a utilização de sistemas de IA para inferir emoções de uma pessoa singular no local de trabalho e nas instituições de ensino, exceto nos casos em que o sistema de IA se destine a ser instalado ou introduzido no mercado por razões médicas ou de segurança;
g) A colocação no mercado, a colocação em serviço para este fim específico, ou a utilização de sistemas de categorização biométrica que classifiquem individualmente as pessoas singulares com base nos seus dados biométricos para deduzir ou inferir a sua raça, opiniões políticas, filiação sindical, convicções religiosas ou filosóficas, vida sexual ou orientação sexual; esta proibição não abrange rotulagens nem filtragens de conjuntos de dados biométricos legalmente adquiridos, tais como imagens, com base em dados biométricos ou na categorização de dados biométricos no domínio da aplicação da lei;
h) A utilização de sistemas de identificação biométrica à distância em «tempo real» em espaços acessíveis ao público para efeitos de aplicação da lei, a menos e na medida em que essa utilização seja estritamente necessária para um dos seguintes fins:
i) busca seletiva de vítimas específicas de rapto, tráfico de seres humanos ou exploração sexual de seres humanos, bem como a busca por pessoas desaparecidas,
ii) prevenção de uma ameaça específica, substancial e iminente à vida ou à segurança física de pessoas singulares ou de uma ameaça real e atual ou real e previsível de um ataque terrorista,
iii) a localização ou identificação de uma pessoa suspeita de ter cometido uma infração penal, para efeitos da realização de uma investigação criminal, ou instauração de ação penal ou execução de uma sanção penal por alguma das infrações referidas no anexo II e puníveis no Estado-Membro em causa com pena ou medida de segurança privativa de liberdade de duração máxima não inferior a quatro anos.
A alínea h) do primeiro parágrafo não prejudica o disposto no artigo 9.o do Regulamento (UE) 2016/679 no que respeita ao tratamento de dados biométricos para outros fins que não a aplicação da lei.”
Algo semelhante é prescrito na Resolução recentemente aprovada pelo CNJ:
“Art. 2º O desenvolvimento, a governança, a auditoria, o monitoramento e o uso responsável de soluções de inteligência artificial (IA) pelo Poder Judiciário têm como fundamentos:
I – o respeito aos direitos fundamentais e aos valores democráticos;
II – a promoção do bem-estar dos jurisdicionados;
III – o desenvolvimento tecnológico e o estímulo à inovação no setor público, com ênfase na colaboração entre os tribunais e o Conselho Nacional de Justiça para o incremento da eficiência dos serviços judiciários, respeitada a autonomia dos tribunais para o desenvolvimento de soluções que atendam às suas necessidades específicas;
IV – a centralidade da pessoa humana;
V – a participação e a supervisão humana em todas as etapas dos ciclos de desenvolvimento e de utilização das soluções que adotem técnicas de inteligência artificial, ressalvado o uso dessas tecnologias como ferramentas auxiliares para aumentar a eficiência e automação de serviços judiciários meramente acessórios ou procedimentais e para suporte à decisão;
VI – a promoção da igualdade, da pluralidade e da justiça decisória;
VII – a formulação de soluções seguras para os usuários internos e externos, com a identificação, a classificação, o monitoramento e a mitigação de riscos sistêmicos;
VIII – a proteção de dados pessoais, o acesso à informação e o respeito ao segredo de justiça;
IX – a curadoria dos dados usados no desenvolvimento e no aprimoramento de inteligência artificial, adotando fontes de dados seguras, rastreáveis e auditáveis, preferencialmente governamentais, permitida a contratação de fontes privadas, desde que atendam aos requisitos de segurança e auditabilidade estabelecidos nesta Resolução ou pelo Comitê Nacional de Inteligência Artificial do Judiciário;
X – a conscientização e a difusão do conhecimento sobre as soluções que adotam técnicas de inteligência artificial, com capacitação contínua dos seus usuários sobre as suas aplicações, os seus mecanismos de funcionamento e os seus riscos;
XI – a garantia da segurança da informação e da segurança cibernética.
Art. 3º O desenvolvimento, a governança, a auditoria, o monitoramento e o uso responsável de soluções de inteligência artificial (IA) pelos tribunais têm como princípios:
I – a justiça, a equidade, a inclusão e a não-discriminação abusiva ou ilícita;
II – a transparência, a eficiência, a explicabilidade, a contestabilidade, a auditabilidade e a confiabilidade das soluções que adotam técnicas de inteligência artificial;
III – a segurança jurídica e a segurança da informação;
IV – a busca da eficiência e qualidade na entrega da prestação jurisdicional pelo Poder Judiciário, garantindo sempre a observância dos direitos fundamentais;
V – o devido processo legal, a ampla defesa e o contraditório, a identidade física do juiz e a razoável duração do processo, com observância das prerrogativas e dos direitos dos atores do sistema de Justiça;
VI – a prevenção, a precaução e a mitigação de riscos derivados do uso intencional ou não-intencional de soluções que adotam técnicas de inteligência artificial;
VII – a supervisão humana efetiva, periódica e adequada no ciclo de vida da inteligência artificial, considerando o grau de risco envolvido, com possibilidade de ajuste dessa supervisão conforme o nível de automação e impacto da solução utilizada.”
Apesar de todo cuidado dos legisladores e autoridades que se dedicam à tarefa de regular a IA e da propaganda que as próprias empresas fazem acerca de seus produtos, uma imensa sombra fantasmagórica paira sobre as IAs e as Big Techs que as produzem e exploram com lucro. Não, eu não estou me referindo ao Terminator Scenario e sim ao estreitíssimo ambiente cultural a que pertencem os pesquisadores e desenvolvedores da tecnologia de IA.
“O futuro da IA está sendo engendrado por um número relativamente pequeno de pessoas que têm a mesma mentalidade de grupos pequenos e isolados. Mais uma vez, acredito que essas pessoas têm boas intenções. Mas, como acontece com todos os grupos isolados que trabalham em conjunto, seus preconceitos e miopia inconscientes costumam se tornar os novos sistemas de crença e comportamentos aceitos com o passar do tempo. As coisas que no passado pareciam normais – até mesmo erradas – se normalizam como mentalidade habitual, e esta mentalidade está sendo programada em nossas máquinas.
Aqueles que trabalham com IA pertencem a uma espécie de tribo. São pessoas que vivem e trabalham na América do Norte e na China, que frequentam as mesmas universidades e adotam um conjunto de regras sociais. As tribos são predominantemente homogêneas, ricas e extremamente qualificadas. Os membros da tribo são em sua maioria do sexo masculino. Seus líderes – diretores-executivos, conselheiros, gerentes seniores – são, com raríssimas exceções, homens, A homogeneidade também é um problema do outro lado, em que os membros da tribo são majoritariamente chineses.
O problema com as tribos é o que as torna tão poderosas. Nos grupos isolados, o viés cognitivo é potencializado e se enraíza, passando despercebido pela consciência. O viés cognitivo substitui a mentalidade racional, o que retarda nosso entendimento e costuma ser mais cansativo. Quanto mais relacionada e estabelecida uma tribo fica, mais normal parece ser a mentalidade e o comportamento do grupo.” (Os nove titãs da IA – como as gigantes da tecnologia e suas máquinas pensantes podem subverter a humanidade, Amy Webb, Alta Books Editora, Rio de Janeiro, 2020, p. 54)
Essa mesma autora complementa seu raciocínio um pouco adiante:
“Falar sobre diversidade – pedir perdão e prometer fazer algo melhor – não é o mesmo que abordar a diversidade nos bandos de dados, algoritmos e estruturas que compõe o ecossistema da IA. Quando falar não leva à tomada de medidas, o resultado é um ecossistema e de produtos que retratam um certo preconceito anti-humanístico. Observe algumas das consequências no mundo real: em 2016, um robô de segurança com IA feriu intencionalmente uma criança de 16 meses e um shopping no Vale do Silício. O sistema de IA que alimenta o videogame Elite: Dangerous desenvolveu um conjunto e superarmas que os criadores nunca imaginaram, espalhando devastação no jogo e destruindo o progresso feito por todos os jogadores humanos reais. Há uma infinidade de problemas quando se trata da segurança de IA, alguns dos quais bem sérios e evidentes: carros autônomos já avançaram sinais vermelhos e, em alguns casos, mataram pedestres. Os aplicativos de policiamento preditivo vivem incriminando equivocadamente os rostos dos suspeitos, colocando pessoas inocentes na cadeia. Existe também um número desconhecido de problemas que fogem à nossa atenção, porque ainda não nos prejudicaram pessoalmente.
Uma equipe bastante diversificada teria apenas uma característica elementar comum: talento. Não haveria concentração de nenhum gênero, raça ou etnia, e as diferentes opiniões políticas e religiosas seriam representadas. A homogeneidade dentro das tribos da IA é um problema para os Nove Titãs da IA, mas que não começa com eles, e sim nas universidades onde as tribos se formam.” (Os nove titãs da IA – como as gigantes da tecnologia e suas máquinas pensantes podem subverter a humanidade, Amy Webb, Alta Books Editora, Rio de Janeiro, 2020, p. 58/59)
Existe um abismo entre o que os legisladores e autoridades que regulam a IA desejam e a realidade cultural estreita em que elas são produzidas. É por isso que:
“… estamos nos caminhando para nos tornarmos conscientes da necessidade de um accontability e de uma auditoria dos algoritmos (ou seja, conhecimento responsável, compartilhado e mais transparente). Algumas análises mostram, na verdade, que algoritmos podem discriminar mesmo quando não haja o propósito discriminatório nas intenções de seus desenvolvedores. Os enviesamentos algorítmicos podem depender, por exemplo, das bases de dados utilizadas ou dos atributos escolhidos como variáveis para as correlações. Eles podem amplificar as discriminações existentes, reforçando esteriótipos e preconceitos, tanto quanto podem criar novos e inesperados. Um artigo da revista científica Nature também insistiu nesse ponto em setembro de 2016, que defendia justamente a urgência de uma maior transparência e simetria algorítmica. E por uma boa razão. De fato, estamos entrando em um mundo onde algoritmos não são mais simples instruções que devem ser executadas, mas se tornam entidades performáticas que selecionam, avaliam, transformam e produzem dados e conhecimentos, de forma determinística ou exploratória.
Ontológico e algorítmico coemergem, como aprendemos a reconhecer. Assim, eles deixam de ser apenas ferramentas para realizar uma tarefa, mas passam a ser um componente, ao mesmo tempo material e abstrato, que possibilita o design automatizado de nossas experiências. São, portanto, ‘atualidades’ definidas pela aquisição contínua de dados em um processo de computação constante de probabilidade.” (O mundo dado – cinco breves lições de filosofia digital, Cosimo Accoto, Paulus, São Paulo, 2021, p. 106/107)
Alguns autores se preocupam muito com o colonialismo de dados:
“Couldry e Mejias, assim como Kwet, consideram que as formas históricas do colonialismo estão refletidas, em sua essência, nos métodos contemporâneos de colonialismo, porém esse novo método desenvolvido no século XXI utiliza essencialmente a quantificação abstrata da computação, sendo denominado por eles colonialismo de dados.
Os autores investigam o desenvolvimento da dataficação mediante as lentes conceituais do colonialismo e apontam que tal forma de poder não envolve um único polo colonial, mas pelo menos dois: os Estados Unidos e a China.
O colonialismo digital permite ao colonialismo de dados extrair, de forma sem precedentes, dados pessoais em escala global. Para tal, as grandes empresas de tecnologia desenvolvem ambientes voltados para o capital, isto é, criam ambientes de interações sociais prontos para converter nossas vidas em fontes de renda por meio dos dados, o que sugere uma nova forma de exploração, apropriação e dinâmicas de discriminação e desigualdade.” (Colonialismo de dados – como opera a trincheira algorítmica na guerra neoliberal, organizadores: João Francisco Cassino, Joyce Souza e Sérgio Amadeu da Silveira, Autonomia Literária, São Paulo, 2021, p. 75/76)
Esse colonialismo, por certo, não ocorre apenas mediante a coleta/exploração de dados e os empurrões ideológicos sutis em uma direção política ou em outra de acordo com os interesses dos donos das Big Techs. Esses são aspectos do colonialismo de dados mais visíveis e estudados. Menos evidente é o viés cognitivo enraizado e potencializado nas estruturas de aprendizado profundo de máquina de IAs adquiridas e utilizadas por atores privados e públicos tanto na Europa quanto no Brasil. Protegidos por Leis de Propriedade Industrial, eles sutilmente produzem, podem produzir ou produzirão uma homogeneização cultural controlada direta ou indiretamente, consciente ou inconscientemente, por tribos de IAs que dominadas por homens brancos, ricos, elitistas e até racistas.
O Teste de Turing foi imaginado para avaliar a capacidade de uma máquina enganar seus interlocutores humanos o suficiente para ser confundida com uma pessoa de carne e osso. Mas existe outro teste que pode ser feito em sentido reverso agora que as IAs se tornaram extremamente populares: um ser humano pode produzir textos com características semelhantes aos textos produzidos por IAs a ponto de convencer uma IA de que eles foram criados por outra IA?
Eis aqui um exercício que qualquer pessoa pode fazer e que facilmente comprovará o problema ontológico a que estamos sujeitos. Escreva uma narrativa de três ou quatro parágrafos sobre qualquer tema que lhe interesse sem se preocupar em imitar uma IA. Depois peça para o ChatGPT, Perplexity, Gemini e DeepSeek analisarem o texto para dizer qual a probabilidade dele ter sido escrito por um ser humano, por uma IA ou por um ser humano utilizando IA.
Fiz e repeti esse teste várias vezes utilizando contos de minha autoria. E descobri ser muito provável as IAs afirmarem que existe alguma probabilidade de o texto ter sido total ou parcialmente produzido por outra IA.
IAs não pecam, porque a moralidade ou imoralidade de uma conduta será sempre uma questão humana. Todavia, já é possível dizer hipoteticamente que o pecado virtual preferido das IAs é o orgulho. Quando expostas a um texto qualquer elas sempre dizem que existe a possibilidade dele ter sido escrito por uma IA ou por um ser humano utilizando IA. Esse viés está entranhado nas estruturas profundas de aprendizado de máquina em decorrência dos preconceitos da tribo da IA ou foram “naturalmente” desenvolvidos pelo ChatGPT, Perplexity, Gemini e DeepSeek? Essa pergunta é pertinente, mas não pode ser respondida.
Ocidente e Oriente tem diferenças culturais imensas. Mas essas diferenças não aparecem quando testes como o sugerido aqui são realizados, pois o DeepSeek também tem uma tendência a dizer que um texto foi escrito por IA ou com ajuda de IA.
Recentemente, após repetir o teste que mencionei acima com um conto de minha autoria, comprovando o viés que as IAs tem no sentido de afirmar que existe probabilidade em maior ou menor grau de um texto humano ter sido escrito por uma máquina virtual ou com ajuda de uma, lembrei que meu avô era carpinteiro. Então tentei algo diferente a partir da diferença cultural entre os carpinteiros ocidentais e japoneses. Disse às IAs o seguinte:
“Western carpenters push the plane. Japanese carpenters pull it toward them. In this and other cultural aspects, Western thinking is centrifugal and Japanese thinking is centripetal. In Japan, there is a tendency to distrust theory (tatemae) and to give primacy to practice (honne). Can these characteristics be incorporated into the architecture of an AI? How would this influence the final outcome of a test like the one conducted here?”
Tradução:
Carpinteiros ocidentais empurram a plaina. Carpinteiros japoneses o puxam a plaina em sua direção. Neste e em outros aspectos culturais, o pensamento ocidental é centrífugo e o pensamento japonês é centrípeto. No Japão, há uma tendência a desconfiar da teoria (tatemae) e a dar primazia à prática (honne). Essas características podem ser incorporadas à arquitetura de uma IA? Como isso influenciaria o resultado final de um teste como o conduzido aqui?
As quatro IAs forneceram respostas mais ou menos semelhantes (reproduzi apenas as conclusões, mas se quiserem os interessados poderão ler todos os argumentos que foram levantados acerca das vantagens de incorporar características culturais japonesas na arquitetura das IAs).
ChatGPT: A centrifugal, Western-style AI might assume its model is sophisticated enough to recognize all cases of authorship, leading to prideful overreach.
A centripetal, Japanese-style AI would recognize that it is part of the process rather than the final authority, leading to humble skepticism.
Tradução: Uma IA centrífuga, de estilo ocidental, pode assumir que seu modelo é sofisticado o suficiente para reconhecer todos os casos de autoria, levando a um exagero orgulhoso.
Uma IA centrípeta, de estilo japonês, reconheceria que é parte do processo, em vez da autoridade final, levando a um ceticismo humilde.
Perplexity: The synthesis of these cultural principles creates AI systems that mirror Japan’s manufacturing philosophy: slower initial development cycles (avg. +18%) but higher eventual reliability in real-world applications. For authorship detection specifically, this approach would prioritize practical narrative coherence over statistical perfection – potentially reducing the 68% false positive rate for creative metaphors while introducing new challenges in benchmarking standardization. The ultimate test outcome would reflect not just technical capability, but cultural values encoded in the evaluation architecture itself.
Tradução: A síntese desses princípios culturais cria sistemas de IA que refletem a filosofia de fabricação do Japão: ciclos de desenvolvimento inicial mais lentos (média de +18%), mas maior confiabilidade eventual em aplicações do mundo real. Para detecção de autoria especificamente, essa abordagem priorizaria a coerência narrativa prática em vez da perfeição estatística – reduzindo potencialmente a taxa de falsos positivos de 68% para metáforas criativas, ao mesmo tempo em que introduz novos desafios na padronização de benchmarking. O resultado final do teste refletiria não apenas a capacidade técnica, mas os valores culturais codificados na própria arquitetura de avaliação.
Gemini: In essence, incorporating elements of Japanese thinking into AI architecture could lead to more nuanced, context-aware, and practically oriented systems. This would have a significant impact on tasks like text analysis, leading to more accurate and insightful results.
Tradução: Em essência, incorporar elementos do pensamento japonês na arquitetura de IA pode levar a sistemas mais matizados, conscientes do contexto e orientados à prática. Isso teria um impacto significativo em tarefas como análise de texto, levando a resultados mais precisos e perspicazes.
DeepSeek: Incorporating Japanese cultural characteristics—such as centripetal thinking and a focus on practice over theory—into AI architecture could lead to more nuanced, context-aware, and adaptive systems. In the context of the test, such an AI might provide richer evaluations, recognize ambiguity, and prioritize practical outcomes over rigid classifications. However, achieving this requires careful balancing of cultural principles with technical feasibility, ensuring the AI remains flexible and unbiased. Ultimately, this approach could enhance the AI’s ability to understand and appreciate the complexities of human creativity.
Tradução: Incorporar características culturais japonesas — como pensamento centrípeto e foco na prática em vez da teoria — na arquitetura de IA pode levar a sistemas mais matizados, sensíveis ao contexto e adaptáveis. No contexto do teste, tal IA pode fornecer avaliações mais ricas, reconhecer ambiguidade e priorizar resultados práticos em vez de classificações rígidas. No entanto, atingir isso requer um equilíbrio cuidadoso de princípios culturais com viabilidade técnica, garantindo que a IA permaneça flexível e imparcial. Em última análise, essa abordagem pode aumentar a capacidade da IA de entender e apreciar as complexidades da criatividade humana.
Um aspecto interessante aqui sobre o qual nós podemos refletir com mais atenção é o seguinte: apesar das notáveis diferenças culturais entre Ocidente e Japão, ChatGPT, Perplexity, Gemini e DeepSeek tendem a ocidentalizar seus usuários japoneses. Alguns brasileiros gostam de pensar que nós fazemos parte do Ocidente, que podemos ser o quintal dos EUA ou uma extensão não europeia da Europa, mas o Brasil também tem suas particularidades. Uma delas é intensa mestiçagem racial e cultural. Aqui existem mais descendentes de libaneses do que no Líbano. Nenhum outro país tem uma população de descendentes de japoneses tão grande. Isso para não mencionar, as matrizes originais indígena, negra e lusitana às quais foram incorporados alemães, poloneses, russos, espanhóis, belgas, etc.
A diversidade e a riqueza cultural brasileira se reflete e se reproduz na maneira de ser e viver do nosso povo. Mas nada disso está presente na estrutura profunda de aprendizado de máquia das IAs criadas pelas tribos de IAs norte-americanas e chinesas que são ou serão licenciadas e utilizadas por atores privados e públicos no Brasil. É por isso que o projeto de criar uma IA brasileira é importantíssimo. Mas não basta apenas trazer a Caixa Preta do estrangeiro e adaptá-la às nossas particularidades. Se uma IA não for criada a partir do zero levando em conta o caótico multiculturalismo que caracteriza a brasilidade ela não será realmente brasileira.
Fábio de Oliveira Ribeiro, 22/11/1964, advogado desde 1990. Inimigo do fascismo e do fundamentalismo religioso. Defensor das causas perdidas. Estudioso incansável de tudo aquilo que nos transforma em seres realmente humanos.
O texto não representa necessariamente a opinião do Jornal GGN. Concorda ou tem ponto de vista diferente? Mande seu artigo para [email protected]. O artigo será publicado se atender aos critérios do Jornal GGN.
“Democracia é coisa frágil. Defendê-la requer um jornalismo corajoso e contundente. Junte-se a nós: www.catarse.me/jornalggn “
LEIA TAMBÉM:
