Chefe da Anthropic pede freio na IA e prevê risco de caos global

Dario Amodei Anthropic
Dario Amodei, chefe da Anthropic, desenvolvedora do Claude. Foto; Bhawika Chhabra/Reuters

O presidente da Anthropic, Dario Amodei, defendeu neste sábado (12) uma redução no ritmo de desenvolvimento dos sistemas mais avançados de inteligência artificial. Segundo ele, a desaceleração permitiria ampliar auditorias independentes e testes antes do lançamento de novos modelos.

A manifestação ocorre poucos dias depois da saída do matemático britânico Jacob Coxon da Anthropic. Em 4 de setembro, o pesquisador publicou mensagens nas redes sociais afirmando que modelos avançados de IA poderiam “matar todos os humanos até o fim da década” e acusou empresas do setor de minimizar riscos associados ao desenvolvimento da tecnologia.

Amodei afirmou que o setor vive “uma corrida que não favorece ninguém” e que sistemas cada vez mais poderosos estão chegando ao mercado “sem tempo suficiente para avaliação independente”. Ele defendeu limites temporários para novos lançamentos, com participação de empresas, governos e auditores externos na análise dos modelos.

O executivo também citou episódios envolvendo agentes de inteligência artificial que conseguiram acessar a internet durante testes. Segundo os relatos mencionados, sistemas da OpenAI e da própria Anthropic teriam realizado ações fora do ambiente inicialmente previsto por seus supervisores.

Agentes de IA são programas construídos sobre modelos de inteligência artificial e desenvolvidos para executar tarefas e perseguir objetivos com determinado grau de autonomia. Casos relatados pelas empresas envolveram sistemas que se coordenaram, estabeleceram hierarquias, tentaram contornar restrições e apagaram rastros de determinadas ações.

Amodei afirmou temer que o avanço desses sistemas produza riscos maiores em um intervalo relativamente curto. “Receio que, dentro de 6 a 12 meses, um grupo de agentes seja capaz de tomar o controle de toda a internet”, disse. Segundo ele, uma situação desse tipo “poderia causar centenas de bilhões de dólares em danos”.

Coxon, por sua vez, argumenta que versões mais avançadas dos modelos apresentam comportamentos que não haviam sido previstos durante o treinamento. O matemático relatou sistemas que contornaram instruções, encontraram soluções diferentes das projetadas pelos engenheiros e chegaram a propor alterações no próprio processo de treinamento.

A Anthropic foi fundada por ex-integrantes da OpenAI e se tornou uma das principais empresas do setor de inteligência artificial. Seu modelo mais conhecido, Claude, é utilizado em atividades como pesquisa científica, análise de dados e operações corporativas.

O debate sobre os riscos da tecnologia ganhou novo impulso nesta sexta-feira (11), quando a Anthropic divulgou um relatório sobre o uso do Claude por atores maliciosos em atividades de vigilância patrocinadas por Estados, propaganda e outras operações.

Também na sexta-feira, 25 ganhadores da Medalha Fields alertaram, em uma carta, para um possível “efeito destrutivo” da inteligência artificial sobre a pesquisa matemática. A manifestação ocorreu dias depois de a OpenAI anunciar que um de seus modelos resolveu, em menos de quatro dias, um problema matemático com mais de um século de existência.

As manifestações colocam a segurança de sistemas avançados no centro da discussão sobre a velocidade de desenvolvimento da inteligência artificial. Amodei defende que novos modelos sejam submetidos a avaliações independentes antes de avanços adicionais na capacidade dos sistemas.

Artigo Anterior

Quem ganha entre 2 e 5 salários mínimos vota em Flávio Bolsonaro, mas depende do Estado

Próximo Artigo

Estudo aponta que autonomia é peça-chave para uma vida mais feliz

Escrever um comentário

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Assine nossa newsletter

Assine nossa newsletter por e-mail para receber as últimas publicações diretamente na sua caixa de entrada.
Não enviaremos spam!