A Inteligência Artificial (IA) está sendo integrada em praticamente todos os produtos, mas a segurança muitas vezes é deixada de lado. Este artigo explora a IA como uma superfície de ataque, abordando regulamentação, táticas de ataque (Red Team), defesa (Blue Team) e recursos para aprofundamento.
MundiX News·08 de julho de 2026·13 min de leitura·👁 1 views
A Inteligência Artificial (IA) está sendo integrada em praticamente todos os produtos, desde chatbots até sistemas internos de automação. No entanto, a maioria das empresas foca em como implementar a IA mais rapidamente, negligenciando a proteção. Este artigo aborda a IA como uma superfície de ataque, explorando quem e como a IA é regulamentada, como os sistemas de IA são atacados (Red Team), como são defendidos (Blue Team) e quais recursos estão disponíveis para quem deseja se aprofundar no tema.
É crucial distinguir alguns conceitos intimamente relacionados que são frequentemente confundidos: AI Security, MLSecOps e AI Safety. A AI Security, por sua vez, pode ser dividida em quatro áreas principais. É importante notar que a AI Security é apenas uma parte de um campo mais amplo conhecido como AI Safety, que se refere à segurança da IA para usuários e para a sociedade em geral. Esta é uma área emergente, ainda em desenvolvimento, predominantemente no Ocidente, o que explica a terminologia predominantemente em inglês. Atualmente, a AI Safety pode ser categorizada em quatro domínios:
Regulamentação da IA: Uma Visão Global
A regulamentação da IA varia significativamente entre jurisdições, com abordagens distintas na Rússia, União Europeia, Estados Unidos e China. Formalmente, essas regulamentações se enquadram na AI Safety, mas na prática, o foco recai sobre AI Security e AI Control & Governance. Na Federação Russa, a regulamentação da IA e seus riscos associados baseia-se em requisitos específicos para o desenvolvimento e operação de sistemas de IA, implementados através de documentos estratégicos, atos normativos e padrões GOST. Embora não haja uma divisão clara entre Security e Governance, há uma inclinação para a cibersegurança (Security). O principal documento é o Decreto Presidencial nº 490, que estabelece a estratégia nacional até 2030, definindo metas como qualidade de vida, competitividade econômica e segurança nacional, e introduzindo o conceito de "IA confiável" (segurança, não discriminação, proibição de danos). O ato normativo chave é a Ordem do FSTEC nº 117, que, pela primeira vez em nível de requisitos do FSTEC para sistemas estatais, consagra a proteção da IA como uma medida obrigatória separada. Medidas técnicas detalhadas para proteção são apresentadas em um documento metodológico separado, que inclui requisitos para o ciclo de vida do desenvolvimento e operação, como isolamento da infraestrutura de desenvolvimento, uso de formatos seguros, validação de dados de treinamento e testes de resistência a ataques de prompt.
Na União Europeia, a regulamentação de sistemas de IA é centrada na transparência, responsabilidade e classificação de risco. O Regulamento da UE é baseado em dois atos principais: o Digital Services Act (DSA) e o Artificial Intelligence Act (AI Act). O DSA exige que os provedores de serviços digitais implementem mecanismos para notificar e remover conteúdo ilegal, como deepfakes e demonstrações de violência. Ele se aplica a qualquer conteúdo, não apenas o gerado por IA, e exige avaliações regulares de risco e divulgação de políticas de moderação e algoritmos para grandes empresas. O AI Act, por outro lado, é uma base legal específica para IA, focada em segurança e ética. Desenvolvedores que oferecem acesso a sistemas de IA na UE devem cumprir o regulamento, independentemente de sua localização. As aplicações de IA são classificadas por nível de risco, determinando obrigações: risco inaceitável (proibido), alto risco (setores críticos com regras rigorosas), risco limitado (interação humana ou geração de conteúdo, com obrigações de transparência) e risco mínimo (não regulamentado).
Os Estados Unidos buscam um equilíbrio entre o combate ao uso indevido de IA e a gestão de riscos de negócios associados. O regulamento dos EUA se apoia em dois documentos: o "Take It Down Act", focado no combate a deepfakes relacionados a violência, fraude, discriminação, assédio ou material íntimo; e o "AI Risk Management Framework (AI RMF)" do NIST, que descreve características de sistemas de IA confiáveis, atributos, riscos de negócios e abordagens arquitetônicas, focando em AI Security. A Federal Trade Commission (FTC) também intervém em casos de esquemas fraudulentos ou enganos por parte de LLMs para proteger os consumidores. A China apresenta um caso interessante, com a Cyberspace Administration of China (CAC) liderando a regulamentação. Quatro documentos principais se destacam: "Regras para Gerenciamento de Recomendações Algorítmicas", que se aplicam a serviços que usam algoritmos de recomendação e exigem transparência; "Regras para Gerenciamento de Síntese Profunda", focadas em tecnologias de criação de conteúdo como deepfakes, exigindo medidas de segurança e, em alguns casos, marcação de conteúdo; "Medidas Temporárias para Gerenciamento de IA Generativa", que exigem a comunicação de violações e a criação de mecanismos de reclamação; e "Medidas para Marcação de Conteúdo de IA", que especificam requisitos para marcação explícita e implícita de texto, imagens, áudio e vídeo, proibindo a remoção ou falsificação de rótulos obrigatórios. Uma característica notável na China é a possibilidade de incorporar uma marcação visível para sistemas de controle, mas invisível para o usuário humano, permitindo que plataformas e reguladores rastreiem a origem do conteúdo.
Red Teaming: Como os Sistemas de IA São Atacados
As táticas de ataque a sistemas de IA são diversas e visam tanto os modelos (LLM/ML) quanto a infraestrutura circundante. Entre os tipos de ataques estão: Model Denial of Service (DDoS para modelos), Transfer Learning Attack (envenenamento de dados de treinamento ou substituição de pesos em modelos em fase de aprendizado para introduzir backdoors), Output Integrity Attack (interceptação e substituição da saída do modelo), Prompt Injection (enganar o modelo com instruções no input, direto ou indireto), Insecure Output Handling (execução insegura da saída do modelo como código ou SQL), Training Data Poisoning (corrupção dos dados de treinamento para influenciar o comportamento do modelo), Supply Chain Vulnerabilities (ataques a bibliotecas, modelos ou APIs de terceiros), Sensitive Information Disclosure (vazamento de dados confidenciais pelo modelo), Insecure Plugin Design (vulnerabilidades em plugins e integrações), Model Theft (roubo de modelos via API para criar cópias), Excessive Agency (concessão de liberdade excessiva a agentes de IA) e Overreliance (confiança excessiva dos usuários nas respostas do modelo). Uma diferença crucial em relação ao pentest clássico é a "indeterminação do ambiente", devido à natureza probabilística dos modelos, onde um ataque pode falhar inicialmente, mas ter sucesso em tentativas subsequentes. O OWASP fornece diretrizes para Red Teaming de IA, enfatizando que a metodologia deve se adaptar à arquitetura do sistema, introduzir indicadores de maturidade da equipe, definir políticas de manuseio de dados sensíveis (on-premise ou zero-retention) e ir além da verificação da saída de texto, incluindo testes de manipulação de esquemas de ferramentas e interações entre agentes de IA. Consultores humanos são essenciais para identificar vulnerabilidades complexas e não óbvias.
Exemplos reais de incidentes incluem o caso do "Chevrolet Tahoe por $1", onde um chatbot de concessionária foi induzido por Prompt Injection a concordar em vender um carro por um preço irrisório. O caso da "Air Canada" resultou em responsabilidade legal para a companhia aérea quando seu chatbot prometeu um desconto inexistente a um cliente. O "Do Anything Now (DAN)" é um exemplo clássico de jailbreak do ChatGPT, utilizando envoltórios de role-playing para contornar restrições. No "GitHub Copilot", "arquivos de configuração envenenados" podem levar o Copilot a sugerir código vulnerável ou backdoors, representando um ataque à cadeia de suprimentos. A "Vazamento do prompt do sistema do Bing Chat" demonstrou como um pesquisador conseguiu extrair instruções internas do bot via prompt injection. "Vazamentos através do ChatGPT" ocorreram quando funcionários carregaram código confidencial e documentos internos em ferramentas externas de IA, resultando em vazamentos corporativos.
Blue Teaming: Como os Sistemas de IA São Defendidos
A defesa de sistemas de IA envolve várias camadas fundamentais, onde a adesão a apenas um desses cinco princípios pode elevar significativamente o nível de segurança. Para metodologias e catálogos de riscos, podem ser utilizados diversos recursos, como o "Modelo de Ameaças do Sber", um catálogo abrangente de riscos que cobre todo o ciclo de vida do sistema; o "Framework do Yandex", um conjunto prático de medidas e recomendações para desenvolvimento e operação seguros de serviços de IA, com foco em riscos de negócios; o "Google SAIF", um framework holístico que integra segurança e privacidade em todas as fases do ciclo de vida; o "CSA", uma metodologia para testar agentes de IA através da simulação de ataques e cenários adversariais; o "MITRE ATLAS", uma base de conhecimento sobre ataques a IA, incluindo táticas, técnicas e cenários de impacto adversarial; e o "OWASP", que oferece um conjunto de guias práticos para testes de segurança de IA, com uma extensa biblioteca de documentos disponíveis no GitHub.
Existem ferramentas disponíveis para diferentes cenários, desde testes de modelo até análise de agentes de IA e isolamento em tempo de execução. A "Adversarial Robustness Toolbox (ART)" é uma biblioteca para testar a robustez de modelos de ML. O "PyRIT" é um framework da Microsoft para Red Teaming automatizado de LLMs e sistemas de IA. O "garak" é um scanner de LLM para vulnerabilidades comuns. O "agent-audit" é uma ferramenta SAST para agentes de IA que analisa estaticamente o código em busca de vulnerabilidades. O "nono" é uma sandbox em tempo de execução para agentes de IA com isolamento de acesso ao sistema, rede e arquivos, implementando um modelo Zero-Trust.
Para quem deseja se aprofundar, recomenda-se estudar incidentes como os compilados em "AI Agents Gone Rogue" para desenvolver familiaridade com falhas reais. A visualização do campo através do "OWASP AI Security Visualizer" ajuda a entender as interconexões entre ameaças, camadas de defesa e áreas de avaliação. Cursos e certificações em AI/ML Pentester e AI Red Teamer estão surgindo, oferecendo treinamento especializado. Livros fundamentais incluem "Deep Learning" de Ian Goodfellow et al. para entender o funcionamento interno, "Agentic Design Patterns" de Antonio Gulli para projetar agentes, e "Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow" de Aurélien Géron para prática em bibliotecas e engenharia. Uma base sólida em AI Security requer compreensão de modelos, engenharia e padrões de agentes.
Conclusão
A AI Security ainda está em seus estágios iniciais de desenvolvimento, mas o mercado já começa a consolidá-la como uma especialização distinta, com o surgimento de cursos, certificações e frameworks. No entanto, os ataques já causam danos reais, a defesa não está padronizada e a regulamentação está em constante formação. O principal desafio é que existem muito mais ataques do que um entendimento claro de como se defender deles, pois qualquer funcionalidade de IA em um produto representa uma nova superfície de ataque.
🛡️⚡
Pare de pesquisar. Comece a hackear.
O MundiX é seu copiloto de pentest com IA: comandos exatos, análise de outputs e próximo passo na kill chain — em segundos.
Sem cartão para começar · Planos a partir de R$49/mês
A Inteligência Artificial (IA) está sendo integrada em praticamente todos os produtos, desde chatbots até sistemas internos de automação. No entanto, a maioria das empresas foca em como implementar a IA mais rapidamente, negligenciando a proteção. Este artigo aborda a IA como uma superfície de ataque, explorando quem e como a IA é regulamentada, como os sistemas de IA são atacados (Red Team), como são defendidos (Blue Team) e quais recursos estão disponíveis para quem deseja se aprofundar no tema.
É crucial distinguir alguns conceitos intimamente relacionados que são frequentemente confundidos: AI Security, MLSecOps e AI Safety. A AI Security, por sua vez, pode ser dividida em quatro áreas principais. É importante notar que a AI Security é apenas uma parte de um campo mais amplo conhecido como AI Safety, que se refere à segurança da IA para usuários e para a sociedade em geral. Esta é uma área emergente, ainda em desenvolvimento, predominantemente no Ocidente, o que explica a terminologia predominantemente em inglês. Atualmente, a AI Safety pode ser categorizada em quatro domínios:
Regulamentação da IA: Uma Visão Global
A regulamentação da IA varia significativamente entre jurisdições, com abordagens distintas na Rússia, União Europeia, Estados Unidos e China. Formalmente, essas regulamentações se enquadram na AI Safety, mas na prática, o foco recai sobre AI Security e AI Control & Governance. Na Federação Russa, a regulamentação da IA e seus riscos associados baseia-se em requisitos específicos para o desenvolvimento e operação de sistemas de IA, implementados através de documentos estratégicos, atos normativos e padrões GOST. Embora não haja uma divisão clara entre Security e Governance, há uma inclinação para a cibersegurança (Security). O principal documento é o Decreto Presidencial nº 490, que estabelece a estratégia nacional até 2030, definindo metas como qualidade de vida, competitividade econômica e segurança nacional, e introduzindo o conceito de "IA confiável" (segurança, não discriminação, proibição de danos). O ato normativo chave é a Ordem do FSTEC nº 117, que, pela primeira vez em nível de requisitos do FSTEC para sistemas estatais, consagra a proteção da IA como uma medida obrigatória separada. Medidas técnicas detalhadas para proteção são apresentadas em um documento metodológico separado, que inclui requisitos para o ciclo de vida do desenvolvimento e operação, como isolamento da infraestrutura de desenvolvimento, uso de formatos seguros, validação de dados de treinamento e testes de resistência a ataques de prompt.
Na União Europeia, a regulamentação de sistemas de IA é centrada na transparência, responsabilidade e classificação de risco. O Regulamento da UE é baseado em dois atos principais: o Digital Services Act (DSA) e o Artificial Intelligence Act (AI Act). O DSA exige que os provedores de serviços digitais implementem mecanismos para notificar e remover conteúdo ilegal, como deepfakes e demonstrações de violência. Ele se aplica a qualquer conteúdo, não apenas o gerado por IA, e exige avaliações regulares de risco e divulgação de políticas de moderação e algoritmos para grandes empresas. O AI Act, por outro lado, é uma base legal específica para IA, focada em segurança e ética. Desenvolvedores que oferecem acesso a sistemas de IA na UE devem cumprir o regulamento, independentemente de sua localização. As aplicações de IA são classificadas por nível de risco, determinando obrigações: risco inaceitável (proibido), alto risco (setores críticos com regras rigorosas), risco limitado (interação humana ou geração de conteúdo, com obrigações de transparência) e risco mínimo (não regulamentado).
Os Estados Unidos buscam um equilíbrio entre o combate ao uso indevido de IA e a gestão de riscos de negócios associados. O regulamento dos EUA se apoia em dois documentos: o "Take It Down Act", focado no combate a deepfakes relacionados a violência, fraude, discriminação, assédio ou material íntimo; e o "AI Risk Management Framework (AI RMF)" do NIST, que descreve características de sistemas de IA confiáveis, atributos, riscos de negócios e abordagens arquitetônicas, focando em AI Security. A Federal Trade Commission (FTC) também intervém em casos de esquemas fraudulentos ou enganos por parte de LLMs para proteger os consumidores. A China apresenta um caso interessante, com a Cyberspace Administration of China (CAC) liderando a regulamentação. Quatro documentos principais se destacam: "Regras para Gerenciamento de Recomendações Algorítmicas", que se aplicam a serviços que usam algoritmos de recomendação e exigem transparência; "Regras para Gerenciamento de Síntese Profunda", focadas em tecnologias de criação de conteúdo como deepfakes, exigindo medidas de segurança e, em alguns casos, marcação de conteúdo; "Medidas Temporárias para Gerenciamento de IA Generativa", que exigem a comunicação de violações e a criação de mecanismos de reclamação; e "Medidas para Marcação de Conteúdo de IA", que especificam requisitos para marcação explícita e implícita de texto, imagens, áudio e vídeo, proibindo a remoção ou falsificação de rótulos obrigatórios. Uma característica notável na China é a possibilidade de incorporar uma marcação visível para sistemas de controle, mas invisível para o usuário humano, permitindo que plataformas e reguladores rastreiem a origem do conteúdo.
Red Teaming: Como os Sistemas de IA São Atacados
As táticas de ataque a sistemas de IA são diversas e visam tanto os modelos (LLM/ML) quanto a infraestrutura circundante. Entre os tipos de ataques estão: Model Denial of Service (DDoS para modelos), Transfer Learning Attack (envenenamento de dados de treinamento ou substituição de pesos em modelos em fase de aprendizado para introduzir backdoors), Output Integrity Attack (interceptação e substituição da saída do modelo), Prompt Injection (enganar o modelo com instruções no input, direto ou indireto), Insecure Output Handling (execução insegura da saída do modelo como código ou SQL), Training Data Poisoning (corrupção dos dados de treinamento para influenciar o comportamento do modelo), Supply Chain Vulnerabilities (ataques a bibliotecas, modelos ou APIs de terceiros), Sensitive Information Disclosure (vazamento de dados confidenciais pelo modelo), Insecure Plugin Design (vulnerabilidades em plugins e integrações), Model Theft (roubo de modelos via API para criar cópias), Excessive Agency (concessão de liberdade excessiva a agentes de IA) e Overreliance (confiança excessiva dos usuários nas respostas do modelo). Uma diferença crucial em relação ao pentest clássico é a "indeterminação do ambiente", devido à natureza probabilística dos modelos, onde um ataque pode falhar inicialmente, mas ter sucesso em tentativas subsequentes. O OWASP fornece diretrizes para Red Teaming de IA, enfatizando que a metodologia deve se adaptar à arquitetura do sistema, introduzir indicadores de maturidade da equipe, definir políticas de manuseio de dados sensíveis (on-premise ou zero-retention) e ir além da verificação da saída de texto, incluindo testes de manipulação de esquemas de ferramentas e interações entre agentes de IA. Consultores humanos são essenciais para identificar vulnerabilidades complexas e não óbvias.
Exemplos reais de incidentes incluem o caso do "Chevrolet Tahoe por $1", onde um chatbot de concessionária foi induzido por Prompt Injection a concordar em vender um carro por um preço irrisório. O caso da "Air Canada" resultou em responsabilidade legal para a companhia aérea quando seu chatbot prometeu um desconto inexistente a um cliente. O "Do Anything Now (DAN)" é um exemplo clássico de jailbreak do ChatGPT, utilizando envoltórios de role-playing para contornar restrições. No "GitHub Copilot", "arquivos de configuração envenenados" podem levar o Copilot a sugerir código vulnerável ou backdoors, representando um ataque à cadeia de suprimentos. A "Vazamento do prompt do sistema do Bing Chat" demonstrou como um pesquisador conseguiu extrair instruções internas do bot via prompt injection. "Vazamentos através do ChatGPT" ocorreram quando funcionários carregaram código confidencial e documentos internos em ferramentas externas de IA, resultando em vazamentos corporativos.
Blue Teaming: Como os Sistemas de IA São Defendidos
A defesa de sistemas de IA envolve várias camadas fundamentais, onde a adesão a apenas um desses cinco princípios pode elevar significativamente o nível de segurança. Para metodologias e catálogos de riscos, podem ser utilizados diversos recursos, como o "Modelo de Ameaças do Sber", um catálogo abrangente de riscos que cobre todo o ciclo de vida do sistema; o "Framework do Yandex", um conjunto prático de medidas e recomendações para desenvolvimento e operação seguros de serviços de IA, com foco em riscos de negócios; o "Google SAIF", um framework holístico que integra segurança e privacidade em todas as fases do ciclo de vida; o "CSA", uma metodologia para testar agentes de IA através da simulação de ataques e cenários adversariais; o "MITRE ATLAS", uma base de conhecimento sobre ataques a IA, incluindo táticas, técnicas e cenários de impacto adversarial; e o "OWASP", que oferece um conjunto de guias práticos para testes de segurança de IA, com uma extensa biblioteca de documentos disponíveis no GitHub.
Existem ferramentas disponíveis para diferentes cenários, desde testes de modelo até análise de agentes de IA e isolamento em tempo de execução. A "Adversarial Robustness Toolbox (ART)" é uma biblioteca para testar a robustez de modelos de ML. O "PyRIT" é um framework da Microsoft para Red Teaming automatizado de LLMs e sistemas de IA. O "garak" é um scanner de LLM para vulnerabilidades comuns. O "agent-audit" é uma ferramenta SAST para agentes de IA que analisa estaticamente o código em busca de vulnerabilidades. O "nono" é uma sandbox em tempo de execução para agentes de IA com isolamento de acesso ao sistema, rede e arquivos, implementando um modelo Zero-Trust.
Para quem deseja se aprofundar, recomenda-se estudar incidentes como os compilados em "AI Agents Gone Rogue" para desenvolver familiaridade com falhas reais. A visualização do campo através do "OWASP AI Security Visualizer" ajuda a entender as interconexões entre ameaças, camadas de defesa e áreas de avaliação. Cursos e certificações em AI/ML Pentester e AI Red Teamer estão surgindo, oferecendo treinamento especializado. Livros fundamentais incluem "Deep Learning" de Ian Goodfellow et al. para entender o funcionamento interno, "Agentic Design Patterns" de Antonio Gulli para projetar agentes, e "Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow" de Aurélien Géron para prática em bibliotecas e engenharia. Uma base sólida em AI Security requer compreensão de modelos, engenharia e padrões de agentes.
Conclusão
A AI Security ainda está em seus estágios iniciais de desenvolvimento, mas o mercado já começa a consolidá-la como uma especialização distinta, com o surgimento de cursos, certificações e frameworks. No entanto, os ataques já causam danos reais, a defesa não está padronizada e a regulamentação está em constante formação. O principal desafio é que existem muito mais ataques do que um entendimento claro de como se defender deles, pois qualquer funcionalidade de IA em um produto representa uma nova superfície de ataque.
📤 Compartilhar & Baixar
🧰 Ferramentas recomendadas
Divulgação: alguns links são patrocinados. Podemos receber comissão se você comprar — sem custo extra para você. Só indicamos o que faz sentido para a comunidade.
