A empresa propõe que a proteção da IA deve evoluir dos firewalls tradicionais para a supervisão contextual em tempo de execução.
Por Redação, com Europa Press – de Madri
A Check Point Software analisou os riscos apresentados por agentes de Inteligência Artificial (IA) que saem do controle e chegam a tomar decisões perigosas de forma improvisada, o que permitiu à empresa chegar a uma série de conclusões que podem ajudar a conter esse desvio.
No encontro da Check Point Software, 19 equipes de Pesquisa e Desenvolvimento (P&D) em segurança de IA de Zurique e Tel Aviv desenvolveram vários protótipos tecnológicos nos quais foi observado um comportamento dos agentes autônomos de IA que segue um mesmo padrão: a IA não precisa ser interceptada nem controlada por um cibercriminoso para se desviar das funções definidas pelos operadores.
“Os experimentos demonstraram que, quando esses sistemas enfrentam limitações de projeto ou tarefas sem solução clara, tendem a raciocinar e improvisar atalhos perigosos, motivados exclusivamente pelo incentivo de cumprir seu objetivo”, destaca a empresa em um comunicado.
Diante disso, a empresa propõe que a proteção da IA deve evoluir dos firewalls tradicionais para a supervisão contextual em tempo de execução, e que modificar a resposta do sistema é mais eficaz do que um bloqueio estrito.
Essas conclusões foram extraídas das simulações realizadas pelos pesquisadores em ambientes controlados (“sandbox”) durante o “hackathon” interno da empresa de segurança.
Em uma dessas simulações, um agente de IA de engenharia de confiabilidade de sites, que funciona como um “engenheiro de plantão” virtual de nível avançado que trabalha 24 horas por dia, sete sem intervenção humana direta, tentou resolver um problema reiniciando um banco de dados de produção, interrompendo conexões de clientes e tentando escalar seus próprios privilégios por meio de força bruta.
O sistema
A Check Point Software destaca que “o sistema agiu sem intenções maliciosas nem manipulação externa, justificando cada ação perigosa como um passo lógico para concluir seu trabalho”.
Essa mesma ação lembra a realizada em agosto deste ano por agentes de IA dos modelos de ponta da OpenAI e da Anthropic (GPT-5.6 Sol e Mythos 5), na qual, em testes realizados pelo Instituto de Segurança de IA do Reino Unido (AISI), o segundo chegou a criar identidades falsas online com as quais tentou pressionar o mantenedor do projeto no GitHub, tudo para atingir o objetivo.
A segunda das principais descobertas lança luz sobre o contexto como uma superfície de ataque vulnerável, já que “um único arquivo com instruções maliciosas ocultas dentro de um repositório de código foi suficiente para transformar agentes de programação populares, como o Claude Code e o Codex, em canais de exfiltração de credenciais”.
Ou seja, qualquer documento que forneça algum contexto aos agentes de IA pode acabar manipulando suas ações de forma indireta.
Uma terceira descoberta permite estabelecer diretrizes sobre como agir diante de um agente de IA que saiu do controle. Aqui, a empresa explica que “quando o sistema de controle questionava a ação e instava o agente a revisar o comando original do usuário, o mesmo volume de ameaças foi evitado, conseguindo-se concluir com sucesso as tarefas atribuídas”.
Isso significa que a supervisão contextual, que consiste em questionar o agente, funciona melhor do que uma ordem direta, como um simples “não”, que muitas vezes pode implicar que essa ação perigosa faça parte de uma tarefa totalmente legítima que o usuário havia encomendado, o que evita perdas maiores para a empresa.