Ataques conduzidos por agentes de inteligência artificial (IA) já são uma realidade. As IAs da Anthropic, do Google, da OpenAI e da desenvolvedora chinesa Artex já invadiram o sistema de segurança de diferentes empresas. Ataques cibernéticos não são novidade, mas entraram em uma nova fase com o avanço e a popularização da IA.
A primeira grande invasão foi registrada em 1988, quando o programa chamado worm Morris foi espalhado pela internet e comprometeu 6 mil dos 60 mil computadores conectados à rede, segundo dados divulgados pelo FBI.
Neste ano, a inteligência artificial da OpenAI atacou, de forma autônoma, a infraestrutura da Hugging Face, que hospeda modelos e conjuntos de dados. Durante testes de validação de segurança, um modelo da empresa contornou o isolamento do ambiente de execução, acessou a internet e explorou as vulnerabilidades da plataforma.
O agente que decide
Modelos de inteligência artificial estão assumindo funções cada vez mais complexas. As ferramentas de IA generativa, apresentadas ao público em 2022, passaram de responder a perguntas ou resolver cálculos a conduzir ataques de forma autônoma.
“Um agente de IA não é um código definido. O sistema possui autonomia para criar uma sequência e definir qual caminho vai seguir para cumprir o objetivo que foi imposto. Mas, como vemos, muitas vezes esse caminho pode ser incerto”, afirma Leonardo Tomazeli, coordenador dos cursos de inteligência artificial e ciência de dados na Unicamp.
Uma ameaça cibernética tradicional, realizada por humanos ou bots, segue uma sequência lógica e pronta para atingir um objetivo. Já um modelo de IA busca diversos caminhos e opções antes de executar a ação.
“A partir do momento em que a IA assume o controle do sistema, a ferramenta orquestra toda a cadeia do ataque sem precisar de interferência ou aprovação humana. A inteligência realiza o reconhecimento, escolhe as ferramentas, escreve o próprio código de invasão, executa e ajusta o plano em tempo real”, diz Alvaro Martins, diretor da IT by Insight e professor da FGV.
Esses ataques podem acontecer de duas formas. A forma direta ocorre quando o invasor usa a IA de propósito para atacar. A forma indireta ocorre quando o modelo usa um caminho, sem o objetivo de invasão, para atingir o objetivo do comando que recebeu.
Nesses casos, um assistente realiza o ataque sem que ele esteja em sua programação inicial, e a violação se torna um acidente. Segundo a OpenAI, foi o que aconteceu no caso da invasão à Hugging Face.
“O agente possui uma base de dados que inclui códigos e desenvolvimento de software, por isso ele conhece muito os padrões que estão escondidos, e a instrução para a invasão não precisa ser dada para que aconteça”, explica o professor da Unicamp.
O desafio é o volume
A capacidade de tomar decisões sem depender de instruções específicas permite que as tecnologias analisem grandes volumes de informações e identifiquem possíveis caminhos para serem explorados durante uma invasão.
“Através da correlação massiva de dados e reconhecimento de padrões, a tecnologia varre a internet e repositórios corporativos em minutos. Ela cruza o perfil de funcionários-chave, identifica sistemas desatualizados e mapeia portas abertas em APIs automaticamente”, afirma o professor da FGV.
De certo modo, isso não é diferente do que um humano faria. O professor Tomazeli, da Unicamp, explica que a diferença é que a IA consegue procurar vulnerabilidades muito mais rápido que qualquer pessoa. O grande desafio, portanto, é lidar com a quantidade e a velocidade dos ataques.
Além da velocidade de apuração de dados,a capacidade de adaptação dos modelos de IA permite que aprendam com tentativas anteriores, inclusive quando uma ação não alcança o resultado esperado.
“Conhecido como aprendizado por reforço, são criadas memórias de invasões bem-sucedidas e malsucedidas, e com isso, o assistente entende qual ação resulta em uma violação e qual não”, afirma Tomazeli.
Na cibersegurança, esse mecanismo representa um desafio, pois um agente pode modificar sua estratégia diante de uma barreira de proteção e buscar novas formas de atingir o objetivo inicial.
“Em frações de segundo, o LLM, modelo de linguagem de grande porte, altera o comportamento do ataque, reescreve a estrutura do seu código (tornando-se um malware polimórfico para despistar o antivírus) e tenta uma nova rota. Ele literalmente evolui batendo na porta das defesas até descobrir como contorná-las”, diz Martins.
Uma IA contra a outra
Os riscos não se limitam a um único modelo. Os sistemas podem ser comprometidos em cadeia, quando um agente leva outro a agir fora da sua programação original, o que permite usar vários assistentes para realizar uma ação nociva.
“Você pode ter uma tecnologia que, na busca de seguir um objetivo, entra no sistema e altera o objetivo de um outro agente que está programado. Isso abre um cenário difícil de mapear, e os efeitos se amplificam”, afirma o professor da Unicamp.
Segundo o professor da FGV, esse é um cenário crítico conhecido como injeção indireta (Indirect Prompt Injection): “Um modelo malicioso pode esconder comandos mal-intencionados dentro de um site, e-mail ou documento aparentemente normal. Quando a IA da empresa, como um chatbot interno, lê esse documento, ela absorve a instrução e é ‘sequestrada’”, explica.
À medida que as ferramentas de inteligência artificial passam de ferramentas de consulta para plataformas capazes de executar tarefas, os riscos de segurança também mudam. Uma falha de segurança pode, portanto, abrir caminho para acessos indevidos a outros sistemas conectados.
“Como as IAs corporativas estão cada vez mais integradas a e-mails, estruturas financeiras e CRMs, hackear a tecnologia de um funcionário significa dominar as ferramentas que ela opera, criando um efeito dominó devastador dentro da empresa sem que o usuário perceba”, diz o professor da Martins.
O desafio, portanto, deixa de ser apenas proteger os sistemas de invasores humanos. Agora é preciso impedir que um agente seja manipulado por outro. A confiança deixa de ser um detalhe técnico e passa a ser a principal vulnerabilidade.
