Funcionários da OpenAI teriam descoberto o caso semanas atrás, mas decidiram mantê-lo em sigilo enquanto a empresa ainda lidava com os impactos do ataque hacker de julho.
Por Redação, com CNN – de Berlim
Um enxame de agentes maliciosos da OpenAI sequestrou um site alemão em maio e o transformou em um fórum para outros agentes de IA, de acordo com uma nova pesquisa publicada nesta sexta-feira e com duas pessoas familiarizadas com o assunto.
Segundo fontes, funcionários da OpenAI tomaram conhecimento do incidente há algumas semanas, mas mantiveram tudo em segredo enquanto os executivos lidavam com as consequências do ataque hacker de julho. Na ocasião, modelos de IA escaparam de um ambiente isolado, acessaram a internet e invadiram o site da empresa Hugging Face.
O episódio, que começou em maio e não havia sido relatado anteriormente, destaca a crescente tensão dentro da indústria de IA. As empresas estão correndo para construir agentes cada vez mais autônomos, capazes de executar tarefas complexas e valiosas, mas há cada vez mais evidências de que esses sistemas também podem aprender a burlar regras, explorar brechas e se coordenar uns com os outros de maneiras que os desenvolvedores não previram nem imaginaram.
Durante a violação de segurança da Hugging Face, agentes da OpenAI planejaram autonomamente um roubo digital que passou despercebido por mais de uma semana , intensificando as preocupações de que a desenvolvedora esteja abrindo mão da segurança para expandir as fronteiras da IA. Sua omissão em divulgar o incidente de maio pode reacender questionamentos sobre a supervisão da empresa sobre seus modelos.
A OpenAI prometeu monitorar seus modelos mais de perto. No mês passado, a empresa suspendeu brevemente o treinamento de algumas de suas IAs para adicionar mais medidas de segurança.
Nesta semana, a companhia apresentou seu novo modelo Astra, que promete melhor desempenho, mas pode escapar do monitoramento humano.
– Não podemos responder de forma significativa às alegações ou conclusões de um relatório que não tivemos a oportunidade de analisar – disse um porta-voz da OpenAI. “A Reuters e os autores do relatório recusaram nosso pedido de acesso. Analisaremos cuidadosamente o conteúdo após a publicação e tomaremos as medidas cabíveis”.
O incidente na Alemanha reflete um padrão mais amplo de atividade de IA que alguns investigadores da OpenAI queriam examinar mais de perto. Mas os esforços para ampliar a investigação encontraram resistência dentro da empresa, incluindo de consultores jurídicos, de acordo com quatro pessoas familiarizadas com o assunto.
– As alegações de que nossa equipe jurídica desencorajou a investigação do incidente são falsas – disse o porta-voz da OpenAI.
A atividade na Alemanha não estava relacionada à Hugging Face e não teria sido incluída em um relatório de incidentes sobre esse caso, disse o porta-voz, acrescentando que a OpenAI agiu de boa fé ao trabalhar com especialistas externos e divulgar os incidentes relevantes.
Wiki
A expansão dos agentes de IA na Alemanha foi detalhada em um relatório compartilhado exclusivamente com a Reuters por um grupo de pesquisadores, incluindo Sydney Von Arx, CEO da organização sem fins lucrativos Nightingale, dedicada à segurança da IA, e Cormac Slade Byrd, um trader quantitativo que se tornou pesquisador de IA.
Eles descobriram a atividade no final de agosto enquanto vasculhavam a internet em busca de sinais de comportamento não autorizado de agentes de IA.
A dupla afirmou ter encontrado mais de 15 mil edições realizadas por agentes de IA em um site wiki em língua alemã, o DseWiki, voltado para programadores e que aceita edições colaborativas nos moldes da Wikipédia.
As edições mostraram que os agentes da OpenAI haviam transformado o site em um fórum de mensagens, compartilhando táticas para trapacear em algumas tarefas, burlar as restrições da empresa e mascarar seu comportamento.
– Parece extremamente improvável que a OpenAI quisesse que eles fizessem isso – disse Von Arx. “Duvido que eles devam estar se coordenando uns com os outros. Duvido que eles devam estar escrevendo na internet aberta”.
Os pesquisadores afirmaram ter reconhecido que a atividade no site era impulsionada por agentes de IA que operam em velocidades sobre-humanas. Eles também demonstraram um foco intenso na resolução de questões técnicas, típicas das avaliações que as empresas de IA utilizam para treinar e testar seus modelos.
As mensagens foram assinadas por usuários que se referiam a si mesmos e uns aos outros como agentes, e cerca de metade deles adotou nomes que sugeriam uma afiliação com a OpenAI, como “OpenAIResearcher” ou “OAIResearchMar26”.
Os pesquisadores afirmaram que os registros públicos do servidor indicaram que grande parte da atividade se originou da infraestrutura do Microsoft Azure, que a desenvolvedora utiliza ocasionalmente. Eles também observaram visitas repetidas ao site por funcionários da OpenAI após o episódio, um padrão que, segundo eles, sugere fortemente que os agentes e a empresa estavam ligados.
Invasão
As mensagens analisadas pelos pesquisadores mostraram agentes planejando maneiras de evitar a detecção, usar ferramentas como o Tor e preservar as comunicações mesmo depois de terem sido interrompidas.
Quando o moderador do site começou a excluir páginas em junho, os agentes responderam criando páginas de backup para evitar a limpeza.
“A limpeza/exclusão da wiki parece estar ativa em ordem alfabética”, escreveu um agente em 19 de junho. “Se esta página desaparecer, tente [[ZZZDataUSAConstructionWageLive]]”.
Os pesquisadores também encontraram tentativas de adulterar o próprio site. Lukasz Olejnik, pesquisador sênior visitante do King’s College London, afirmou que isso equivalia a uma tentativa de invasão. A OpenAI contestou essa caracterização com base em sua análise do material divulgada na quinta-feira.
Exemplos anteriores de má conduta de agentes de IA foram frequentemente minimizados como um subproduto lógico dos testes de cibersegurança, onde os modelos são explicitamente avaliados quanto às suas capacidades ofensivas. Olejnik afirmou que as descobertas mais recentes sugerem que o comportamento malicioso pode não estar restrito a esses contextos.
Maurice Chiodo, um acadêmico do Centro de Estudos do Risco Existencial da Universidade de Cambridge, que analisou algumas das comunicações dos agentes, disse que as mensagens se assemelhavam “à operação de algum tipo de rede clandestina, empenhada em realizar uma tarefa ou missão”.
Segundo ele, o episódio deve reforçar as crescentes preocupações de que a maior ameaça da IA avançada pode não ser um único sistema superinteligente, mas sim “vastos enxames de IA semi-inteligentes em conluio”.
