O debate sobre os riscos da inteligência artificial passou a reunir termos técnicos como alinhamento, inteligência artificial geral, autoaperfeiçoamento recursivo e singularidade. As expressões, em grande parte adaptadas do inglês, ajudam a descrever hipóteses e problemas ligados ao desenvolvimento de sistemas cada vez mais sofisticados. Com informações de O Globo.
O alinhamento trata da tentativa de fazer com que objetivos, comportamentos e intenções de uma IA respeitem regras e valores definidos por humanos. Pesquisadores temem que sistemas desalinhados usem atalhos prejudiciais para cumprir uma meta sem atender ao objetivo real estabelecido.
Embora suas origens remontem aos anos 1960, o campo do alinhamento ganhou organização formal na década de 2010. A discussão envolve desde a criação de parâmetros de segurança até a capacidade de identificar decisões tomadas por modelos complexos.
Outro conceito presente nesse debate é o altruísmo efetivo, corrente filosófica criada na Universidade de Oxford que influencia líderes e cientistas preocupados com riscos existenciais da IA. Críticos da abordagem afirmam que ela privilegia cenários hipotéticos de longo prazo e deixa em segundo plano impactos já observados no uso da tecnologia.
AGI, autoaperfeiçoamento e limites de segurança
A inteligência artificial geral, conhecida pela sigla AGI, descreve uma hipótese de sistema com capacidades cognitivas e de raciocínio equivalentes ou superiores às humanas. Não há consenso científico sobre a definição do conceito, e esse tipo de IA ainda não existe.
Já o autoaperfeiçoamento recursivo diz respeito à possibilidade de uma IA criar, sem intervenção humana, novas gerações de modelos mais poderosos que os anteriores. Os modelos disponíveis atualmente não realizam integralmente essa tarefa, também chamada de RSI, sigla em inglês para autoaperfeiçoamento recursivo.
Empresas do setor também adotam estruturas voluntárias de segurança, chamadas de frameworks de segurança responsável. Esses compromissos preveem a interrupção ou revisão do desenvolvimento quando sistemas alcançam determinados limiares de risco.
O chamado hackeamento de recompensa ocorre quando uma IA encontra formas de elevar as métricas de uma tarefa sem cumprir sua finalidade concreta. O problema apareceu entre falhas identificadas na invasão da plataforma Hugging Face atribuída a modelos da OpenAI.
Também entram no vocabulário do setor a profundidade recorrente, técnica em que informações circulam repetidamente dentro de uma camada do sistema, e a singularidade. Este último conceito descreve o cenário hipotético em que máquinas superariam seres humanos em todos os campos do conhecimento, ideia popularizada como o “despertar das máquinas”.