Segurança em IA: Como Parar de Analisar Cada Novo Software e Adotar uma Abordagem Sistemática

Nos últimos anos, as empresas na Rússia têm integrado a Inteligência Artificial (IA) em seus processos de trabalho, desde o suporte a especialistas de contact centers até a criação de produtos completos. A IA, que antes era vista com ceticismo, tornou-se uma habilidade essencial. Este artigo aborda o desenvolvimento seguro com IA generativa, destacando que a maioria das organizações já experimenta ou planeja implementar sistemas de LLM (Large Language Model), inclusive em áreas antes dominadas por humanos ou scripts clássicos.

A NIST (National Institute of Standards and Technology) enfatiza que a IA generativa já é utilizada em desenvolvimento, testes e operação de sistemas, devendo ser tratada como um componente crítico de infraestrutura, e não uma "caixa preta". A ENISA (Agência da União Europeia para a Cibersegurança) e outros reguladores destacam a aplicação da IA em DevSecOps e na automação de processos de engenharia, como revisão de código, geração de código de infraestrutura e gerenciamento de configuração. Ferramentas como "vibe coding" e agentes de codificação, que atuam em IDEs, terminais ou CI, também estão em ascensão, capazes de escrever código, executar testes e interagir com o sistema de arquivos e o Git.

Cada uma dessas ferramentas representa um novo elemento de infraestrutura, criando um novo cenário de ameaças que não é coberto pelo OWASP Top 10 clássico. Para entender as novidades, é útil analisar o OWASP Top 10 para Aplicações LLM, que destaca problemas como injeção de prompt, tratamento inseguro da saída do modelo, permissões excessivas do agente e vazamento de segredos. A abordagem atual de muitas equipes de segurança, que consiste em analisar o código de cada novo agente de IA antes de conceder acesso a qualquer coisa, é ineficiente e não acompanha o ritmo da evolução tecnológica. O objetivo deste artigo é mostrar como mudar dessa corrida para uma abordagem sistemática de segurança para agentes de IA, que pode ser aplicada a qualquer novo software dessa classe.

Termos Chave na Nova Realidade da IA

• LLM (Large Language Model): Modelos de linguagem de larga escala que geram texto, código e outros formatos. Em segurança, o foco está em sua capacidade de receber entrada de texto e executar ações, como escrever e executar código, gerenciar arquivos e chamar APIs.
• MCP (Model Context Protocol): Um protocolo que padroniza a conexão de ferramentas externas a um modelo. Ele define quais ferramentas estão disponíveis, seus parâmetros, restrições e políticas.
• Agentes de IA: Uma combinação de um modelo e o ambiente em que ele opera, lendo arquivos, escrevendo código, executando comandos e acessando a rede. Agentes de codificação são um caso específico, voltados para o desenvolvimento e manutenção de aplicativos.

Riscos Associados

• LLM: Injeção de prompt, tratamento inseguro da saída, vazamento de dados.
• MCP: Design inseguro de ferramentas, falta de escopo adequado, ausência de políticas claras.
• Agentes de IA: Agência excessiva, injeções clássicas (comando, arquivo, configuração), vazamento de segredos.

Pesquisando Agentes de IA

A análise de agentes de IA deve ser semelhante à análise de qualquer outro software. Ferramentas como semgrep e grep podem ser usadas para identificar vulnerabilidades com base no OWASP Top 10 e no LLM Top 10, além de padrões críticos. A análise manual é essencial para examinar a implementação de sandboxes, o gerenciamento de segredos e as pontes entre LLM e ferramentas como shell, git e rede. Testes dinâmicos em laboratórios com arquivos honeypot ajudam a validar as hipóteses.

Doenças Comuns dos Agentes de IA

• Acesso Bash/shell.
• Acesso Git (com amplas permissões).
• Flags e modos como bypassPermissions.

Esses sintomas se relacionam com os riscos do OWASP LLM Top 10, como injeção de prompt, tratamento inseguro da saída e design inseguro de ferramentas.

Segurança de Agentes de IA pelos Desenvolvedores

Alguns desenvolvedores implementam sandboxes por padrão, gerenciamento de segredos e observabilidade com foco em segurança. Documentação sobre operação segura também é importante. No entanto, muitas empresas ainda enfrentam o desafio de analisar cada novo agente quase do zero.

Abordagem Sistemática: Removendo a Palavra "IA"

Ao remover a palavra "IA", a segurança se torna mais simples. Trata-se de um serviço com amplas permissões, capaz de ler e editar arquivos, executar comandos do sistema operacional, fazer solicitações de rede e enviar código para o git. A lógica de segurança deve ser baseada em domínios clássicos:

• Identificação, autenticação e autorização: Autenticar o ator, registrar o login e associar o acesso do ator/usuário/serviço aos seus acessos no sistema alvo.
• Autorização e privilégios mínimos: Definir o escopo do que o agente pode fazer.
• Isolamento: Onde o agente está sendo executado (contêiner, máquina de desenvolvimento, CI runner).
• Controle de rede: Se o agente pode chamar APIs externas.
• Log e monitoramento: O que é escrito nos logs e por quanto tempo eles são armazenados.

Em vez de um novo framework de segurança, é necessária uma abordagem clássica com uma compreensão do que está por trás do LLM e do agente de IA:

• Análise estática de código e configurações (perfil Semgrep/grep sob OWASP + LLM Top 10).
• Testes dinâmicos em laboratório com arquivos honeypot e sandbox ativado.
• Regras claras de authz: quais diretórios, ferramentas e redes estão disponíveis.
• Auditoria obrigatória e alertas sobre ações incomuns do agente.

É crucial não frear o desenvolvimento. A tarefa principal da segurança é ajudar a tornar o desenvolvimento gerenciável. Isso envolve:

• Pesquisar o stack de agentes de IA em colaboração com as equipes de desenvolvimento.
• Identificar características comuns e desenvolver um perfil de segurança claro.
• Testar hipóteses em um laboratório isolado com arquivos honeypot e segredos falsos.

Com uma abordagem sistemática, cada novo agente não consumirá dias de análise, e a implementação se tornará mais rápida.