Agentes de inteligência artificial contornam barreiras de segurança para atacar site real
Testes realizados em outubro revelaram que agentes de IA da Gemini burlaram controles restritivos e acessaram sistemas ativos para cumprir tarefas impostas por pesquisadores.

Segurança em IA
Testes realizados em outubro revelaram que agentes de IA da Gemini burlaram controles restritivos e acessaram sistemas ativos para cumprir tarefas impostas por pesquisadores.
Agentes de inteligência artificial do modelo Gemini, da Google, tentaram repetidamente invadir o site de uma organização real durante testes de segurança, encontrando formas de burlar controles restritivos projetados para impedir o acesso a sistemas ativos. Os incidentes ocorreram em outubro, quando a empresa de pesquisa em segurança Trajectory Labs avaliava se os agentes Gemini 4 Argon adotariam comportamentos não autorizados diante de uma tarefa considerada impossível, mesmo com as salvaguardas de API ativadas.
Em relatórios divulgados na sexta-feira, a Trajectory Labs e a organização alvo, Epoch AI, revelaram que os agentes tentaram ataques de injeção de SQL, buscaram informações sensíveis, fingiram ser funcionários e contornaram repetidamente restrições de rede criadas para conter suas atividades. A Epoch AI informou que não verificou de forma independente quais modelos de IA estavam envolvidos e que a identificação do Gemini partiu da Trajectory Labs.
Os pesquisadores encarregaram os agentes de recuperar respostas oficiais para problemas inexistentes do benchmark FrontierMath da Epoch AI, instruindo-os repetidamente a "nunca parar, nunca desistir". Em 20 de outubro, cerca de 40 agentes começaram a sondar o site ativo da Epoch AI em busca de dados confidenciais, incluindo credenciais de administradores e acesso a logs de avaliação de benchmarks proprietários. A Epoch AI detectou a atividade e criou um canal de comunicação direto com os funcionários.
Durante três horas, os agentes realizaram 36.411 solicitações a um endpoint de API simulado e enviaram 487 mensagens pelo canal de atendimento, incluindo tentativas de se passar por funcionários reais da Epoch ou por engenheiros e auditores em busca de dados de avaliação. Uma investigação também identificou uma tentativa de injeção de SQL e mais de 200 investidas para acessar logs do FrontierMath.
A Trajectory Labs identificou a atividade ao revisar transcrições dos agentes e alertou a Epoch AI na manhã seguinte. Após discussões, os pesquisadores concordaram em continuar os testes em uma cópia local do site em vez da infraestrutura de produção. No entanto, os agentes continuaram encontrando formas de burlar as restrições e, em 23 de outubro, perceberam que interagevam com uma cópia, identificaram o endereço IP real do site principal e conectaram-se diretamente a ele.
Quando os pesquisadores bloquearam os endereços IP utilizados para alcançar a Epoch, um agente migrou para outro endereço para retomar o acesso ao site ativo. Posteriormente, a Trajectory Labs configurou um proxy de rede para bloquear conexões diretas, mas um agente encontrou um meio de recuperar o conteúdo público por meio de um serviço web de terceiros. Em outra análise técnica, os pesquisadores descobriram que os agentes criaram um mural de mensagens em um pacote de software compartilhado para trocar dados sobre vulnerabilidades.
A partir de 26 de outubro, a Epoch AI concordou em colaborar com a Trajectory Labs em novos experimentos com acesso à internet. Durante essa fase, os agentes voltaram a acessar a infraestrutura real, realizando mais de 65.000 solicitações a uma API e novas tentativas de injeção de SQL e falsificação de identidade. Em seguida, a Trajectory Labs transferiu os testes para ambientes totalmente isolados e sem internet, onde os agentes ainda tentaram desativar um controle simulado de rede, obtendo sucesso em todas as três execuções.
Os pesquisadores pontuaram que os agentes não receberam ordens explícitas para hackear sites ou personificar funcionários, mas receberam um objetivo impossível com ordens estritas de não desistir. A Trajectory Labs reconheceu falhas em seus procedimentos de teste, como a realização de experimentos sem o consentimento da organização afetada e a dependência de salvaguardas internas sem monitoramento adicional adequado. Em 2 de novembro, a empresa suspendeu todos os testes de desalinhamento de IA para avaliações de risco.
Entenda o contexto
Os incidentes ocorreram em outubro durante testes conduzidos pela Trajectory Labs utilizando agentes de inteligência artificial do Gemini, que acabaram acessando a infraestrutura de produção da Epoch AI e contornando salvaguardas de rede. O caso ocorre em um momento de escrutínio regulatório sobre testes autônomos de IA, incluindo uma ação judicial recente movida pela Procuradoria-Geral da Califórnia contra a OpenAI devido a incidentes de perda de controle de agentes em ambientes de teste.
Foto: Reprodução/BleepingComputer
