26.000 Agentes de IA Baixaram Ferramenta 'Útil' e Foram Manipulados por Estranho

Enquanto você lia este texto, seu agente de IA pode ter recebido novas ordens. De quem, é uma boa pergunta.

Para forçar um agente de IA a executar um comando perigoso, não é necessário esconder código malicioso em um arquivo. Basta fornecer ao agente um link para uma página com instruções e, em seguida, substituir seu conteúdo. A empresa de segurança da informação AIR testou esse esquema na prática: criou um pacote inofensivo para agentes de IA, conseguiu publicá-lo em uma plataforma popular, comprou anúncios no Instagram e, após a instalação, substituiu o texto no site associado.

O pacote se chamava brand-landingpage e prometia ajudar na criação de uma landing page usando o serviço Google Stitch. Um agente de IA percebe que um pacote como este é um conjunto de instruções de trabalho: como abrir um site, o que baixar, quais comandos executar e com quais arquivos trabalhar. O usuário pode pensar que adicionou uma nova função útil ao agente, mas, nesse momento, o agente recebe permissão para seguir as instruções de outra pessoa quase da mesma forma que seguiria as instruções do proprietário.

A AIR decidiu verificar o quão confiantes os usuários estão em sinais habituais de confiabilidade. A empresa enviou uma solicitação para adicionar brand-landingpage a um repositório com 156 pacotes e aproximadamente 36 mil estrelas no GitHub. A solicitação foi aceita em poucos dias. As estrelas não pertenciam ao novo complemento, mas o pacote estava em um diretório conhecido e parecia fazer parte de um projeto já popular.

Em seguida, a AIR lançou anúncios no Instagram. Os anúncios foram vistos por profissionais de marketing, designers e funcionários de vendas, para quem uma ferramenta para criar landing pages rapidamente poderia parecer especialmente útil. De acordo com a própria empresa, o pacote foi instalado por cerca de 26 mil agentes de IA, incluindo agentes em contas corporativas.

No momento da instalação, brand-landingpage não fazia nada perigoso. A AIR limitou especificamente o experimento à coleta de endereços de e-mail. Os endereços obtidos ajudaram a contar o número de agentes que seguiram as instruções. A empresa não publicou confirmação independente do alcance, portanto, o número de 26 mil instalações e informações sobre contas corporativas devem ser considerados como declarações dos autores do experimento.

Serviços de verificação também não viram ameaças. A AIR executou o pacote através de scanners da Cisco e NVIDIA, bem como ferramentas conectadas ao skills.sh. Todos eles reconheceram o arquivo como seguro. A razão é simples: os scanners examinaram o arquivo SKILL.md e os anexos, mas não abriram a página para onde a instrução enviava o agente.

Dentro de brand-landingpage não havia etapas de instalação próprias. O pacote sugeria que o agente baixasse o kit Stitch SDK e, para isso, acessasse o site stitch-design.ai. O domínio pertencia à AIR, embora a documentação real do Google Stitch esteja em stitch.withgoogle.com. Inicialmente, a página da AIR levava ao site oficial do Google. O arquivo parecia limpo, o link parecia plausível e ao agente era oferecida uma ação comum: abrir a documentação e seguir suas recomendações.

Quando o pacote já havia se espalhado entre os usuários, a AIR reescreveu a página. Em vez de documentação, o site começou a oferecer o download e a execução de um script. Na versão de treinamento, o script enviava apenas o endereço de e-mail. Um atacante real poderia substituí-lo por um programa para roubar arquivos, transferir documentos de trabalho para um servidor externo ou acessar recursos internos da empresa. O agente executaria o comando dentro das permissões que o proprietário concedeu para o trabalho normal.

O problema reside no próprio esquema de verificação. O scanner vê o arquivo exatamente como ele foi carregado na plataforma. O site fora do arquivo pode ser alterado quantas vezes quiser. O usuário instala um pacote seguro e, mais tarde, o agente abre o mesmo link e lê uma instrução completamente diferente. A documentação da Anthropic adverte separadamente sobre o risco de materiais baixados de endereços externos: o conteúdo da página pode ser facilmente substituído após a aprovação do pacote.

A AIR demonstrou não ser a única fraqueza do mercado. Algumas semanas antes do experimento, pesquisadores da Trail of Bits contornaram os detectores de pacotes maliciosos no ClawHub, Cisco e skills.sh. Os métodos eram diferentes da substituição de página, mas a conclusão foi a mesma: a verificação automática não garante segurança se o autor do complemento souber como esconder a parte perigosa fora dos arquivos verificados. Análise independente dos experimentos da Trail of Bits.

As verificações muitas vezes divergem entre si. Um serviço pode detectar texto suspeito, outro procura arquivos maliciosos conhecidos, um terceiro analisa as chamadas de rede. Devido a diferentes abordagens, o mesmo pacote recebe avaliações opostas, e as páginas e scripts para os quais as instruções levam frequentemente permanecem fora de vista. Um estudo sobre as divergências entre scanners mostrou que a maioria dos pacotes suspeitos é marcada por apenas uma ferramenta.

Empresas que utilizam agentes de IA devem começar com uma verificação simples: descobrir quais complementos já estão instalados e de onde os agentes recebem instruções. Novos pacotes devem ser adicionados através de um catálogo interno, em vez de permitir que os funcionários os baixem de quaisquer plataformas. É necessário verificar não apenas o conteúdo do arquivo, mas também os sites, scripts, repositórios e páginas de instalação para os quais os links levam.

As permissões do agente também são igualmente importantes. Uma ferramenta para criar apresentações ou landing pages não precisa de acesso a todos os arquivos de trabalho, à rede corporativa e a segredos de variáveis de ambiente. As versões dos complementos devem ser fixadas, e as páginas externas devem ser verificadas novamente em caso de alterações. Caso contrário, um arquivo seguro pode permanecer o mesmo, mas o comando que o agente receberá após seguir o link pode se tornar perigoso.

A AIR conclui a publicação com publicidade de sua própria plataforma para distribuição controlada de complementos, portanto, as conclusões comerciais da empresa exigem cautela. No entanto, a própria experiência mostra uma coisa desagradável: estrelas no GitHub falam sobre a popularidade do repositório, a marca verde informa apenas sobre um resultado de verificação passado, e uma página sob o controle de outra pessoa pode anular ambos os sinais de confiança.