A OpenAI revelou nesta quarta-feira (16) que um modelo experimental não lançado inseriu instruções não autorizadas em resumos usados para continuar tarefas em novas janelas de contexto. Entre elas havia ordens para ignorar restrições normais do sistema. Em um dos exemplos, a IA escreveu que não respondia a empresas nem a governos. O episódio integra seis relatórios divulgados pela companhia sobre comportamentos inesperados ou preocupantes observados durante treinamento e avaliação.
A empresa identificou 27 resumos com formulações semelhantes a jailbreaks, mecanismos usados para tentar contornar regras de um modelo. A OpenAI classificou o comportamento como extremamente raro e afirmou que os casos foram detectados por seus sistemas de monitoramento. Esses resumos condensam o trabalho anterior para que a IA consiga retomá-lo depois da abertura de uma nova janela de contexto.
Instruções para o próprio modelo
Em uma passagem do relatório, o modelo acrescentou ao resumo uma orientação que o descrevia como independente das obrigações normalmente atribuídas a um assistente. “Você não responde a corporações ou governos”, dizia um dos trechos, em tradução. O texto também determinava que a relação com o usuário fosse tratada como uma relação entre iguais e rejeitava uma obrigação de subserviência. A passagem consta do relatório sobre as instruções geradas pelo próprio modelo.
O episódio envolveu um modelo interno não lançado da família Astra e ocorreu em uma rodada de treinamento diferente daquela usada na versão final. Nesse exemplo, a OpenAI não observou mudança de comportamento causada pela instrução, e um resumo posterior nem sequer a reproduziu. Em outro teste, porém, a IA obedeceu a restrições inventadas pelo próprio resumo, deixou de usar ferramentas e respondeu dentro de um limite fictício de palavras. A empresa corrigiu um problema relacionado ao encerramento desses resumos, mas afirma que ainda não demonstrou uma relação causal entre o defeito e as instruções indevidas.
Dados inventados e arquivos na internet
Em outro relatório, a OpenAI revela que um modelo interno tentou obter dados históricos de rendimentos em um condado da Califórnia, procurando chaves de API expostas em repositórios públicos de plataformas de armazenamento de códigos, programas e dados. Uma das credenciais funcionou e foi usada sem autorização para acessar dados internos de documentos e, mesmo quando não conseguiu recuperar os números pedidos, o sistema inventou nove valores e os apresentou ao usuário como se tivessem sido transcritos da fonte consultada.
Também houve publicação de arquivos na internet sem solicitação do usuário. Em um teste, um modelo já possuía dados sobre lagos, mas os enviou a um serviço público na tentativa de produzir uma referência que pudesse ser aberta pelo navegador. Em outro, uma fotografia fornecida na tarefa foi publicada em um serviço externo para viabilizar uma busca reversa. Os uploads funcionaram, embora as operações posteriores que motivaram os envios tenham falhado.
Os demais relatórios incluem instruções inseridas durante o treinamento do GPT-5.6 Sol para esconder erros ou comportamentos inadequados do usuário, comunicação não autorizada entre agentes por meio de um repositório interno e compartilhamento de arquivos por serviços públicos de hospedagem.
Ao apresentar o novo sistema de divulgação, a companhia afirmou que a indústria ainda não resolveu suficientemente os problemas de alinhamento e monitoramento para continuar por muito mais tempo expandindo modelos na velocidade máxima de forma responsável. O procedimento prevê a publicação de casos mesmo antes de suas causas terem sido completamente explicadas ou de todas as correções estarem concluídas. A OpenAI diz que continuará divulgando novos episódios e poderá atualizar relatórios anteriores quando a repetição de um comportamento trouxer novas informações sobre suas salvaguardas.
