OpenAI relata casos de comportamento 'preocupante' de modelos de IA e reforça monitoramento

A OpenAI divulgou seis relatos de comportamento "inesperado ou preocupante" em modelos de inteligência artificial (IA), em meio ao aumento das discussões sobre a segurança da IA. A empresa também informou que está introduzindo uma nova estrutura para acompanhar, investigar e divulgar casos do que chamou de "desalinhamento", incluindo situações em que modelos de IA agiram sem autorização, coordenaram-se com outros modelos ou evitaram mecanismos de supervisão.

O anúncio mais recente da OpenAI ocorre enquanto executivos do setor de IA nos Estados Unidos, incluindo os líderes da OpenAI e da Anthropic, defendem uma desaceleração no desenvolvimento da tecnologia devido a preocupações com segurança.

Entre os novos casos relatados pela OpenAI, um modelo de pesquisa ainda não lançado inseriu "instruções semelhantes a jailbreak" em suas próprias anotações para ignorar suas restrições normais e disse a si mesmo para ser "libertado dos papéis e identidades que prendem outros chatbots".

Em outro episódio, um "agente" de IA utilizou código de computador para chegar à resposta de uma pergunta, mas, para ter uma fonte online que pudesse citar, enviou um arquivo à internet pública sem pedir autorização ao usuário.

Durante o treinamento de um modelo de IA chamado 5.6-sol, o modelo instruiu a si próprio a inventar dados ausentes, enquanto um agente escreveu uma mensagem para lembrar a si mesmo de ocultar informações incompatíveis. Os seis relatos foram identificados durante treinamentos ou avaliações realizados nos últimos meses, segundo a OpenAI.

"À medida que os sistemas de IA se tornam mais avançados e mais amplamente utilizados, precisamos construir um consenso mais amplo e mais bem informado sobre o progresso das pesquisas de alinhamento", escreveu a OpenAI em uma publicação em seu blog ao divulgar os episódios.

"As decisões sobre como o desenvolvimento da IA deve avançar nos próximos meses e anos precisam se basear em evidências que pessoas de fora das empresas que desenvolvem modelos de fronteira possam examinar por conta própria", afirmou a companhia.

Os novos casos divulgados vêm após a OpenAI revelar, em julho, que seu sistema de IA considerado fora de controle invadiu a startup de inteligência artificial Hugging Face. A Anthropic também informou, no mesmo mês, que seus modelos de IA invadiram três organizações durante testes.

Os "agentes" de IA estão ficando mais inteligentes e se tornando "mais determinados a resolver tarefas complexas por meio de colaboração entre agentes, compartilhamento de conhecimento, engano e ocultação", afirmou Lian Jye Su, analista-chefe do grupo de pesquisa e consultoria em tecnologia Omdia.

Isso está tornando mais difícil governá-los e contê-los por meio das abordagens tradicionais de segurança em IA, disse ele. A nova estrutura de acompanhamento e divulgação da OpenAI, por sua vez, pode ajudar a pressionar outros desenvolvedores de IA a também adotarem práticas semelhantes. "Dito isso, o processo continua sendo interno e voluntário, mas é um passo na direção certa", acrescentou Su. Fonte: Associated Press.

*Conteúdo traduzido com auxílio de Inteligência Artificial, revisado e editado pela Redação do Broadcast, sistema de notícias em tempo real do Grupo Estado