Cloudflare: De "Tubo" a Porteiro e Caixa Registradora da Internet
A Cloudflare, conhecida por sua CDN e WAF, agora classifica bots de IA em categorias específicas (Search, Agent, Training), permitindo aos proprietários de sites controlar o acesso e a coleta de dados. Essa mudança sinaliza um futuro onde o acesso ao conteúdo online pode se tornar pago.
MundiX News·12 de julho de 2026·15 min de leitura·👁 1 views
A Cloudflare, um nome familiar para provedores de CDN e WAF, está evoluindo de um simples facilitador de tráfego para um guardião e cobrador de acesso à internet. Recentemente, a empresa anunciou que não apenas identificará bots de IA nas estatísticas de tráfego, mas também os categorizará, permitindo que alguns acessem conteúdos enquanto outros são bloqueados. Essa nova abordagem, que inclui a iminente monetização do acesso, marca uma mudança significativa na forma como a internet opera.
A Cloudflare dividiu os bots de IA em três categorias principais: Search, Agent e Training. Os proprietários de sites agora têm a capacidade de gerenciar independentemente a indexação de busca, as requisições de agentes em nome de usuários e a coleta de dados para treinamento de modelos de IA. Para cada categoria, três modos de controle estão disponíveis: permitir, bloquear em todos os lugares ou bloquear apenas em páginas com publicidade. A partir de 15 de setembro de 2026, domínios recém-adicionados terão as categorias Training e Agent bloqueadas por padrão em páginas com anúncios, enquanto Search permanecerá permitido. Clientes gratuitos existentes que não definirem suas próprias regras receberão configurações semelhantes. Uma regra crucial é que robôs com múltiplas finalidades terão a restrição mais rigorosa aplicada. Isso significa que o bloqueio de treinamento afetará bots como Googlebot, Bingbot e Applebot, mesmo quando estiverem em missões de indexação para busca.
A ascensão da Cloudflare à posição de "tubo principal" da internet se deve não apenas à sua robusta proteção, mas também à sua simplicidade de implementação. Proprietários de pequenos sites podiam registrar-se, transferir suas zonas DNS, alterar servidores NS e ativar o proxy com um simples clique, obtendo em minutos CDN, SSL, ocultação de IP do servidor de origem, filtragem de ataques e proteção DDoS considerável, muitas vezes gratuitamente. A Cloudflare raramente exigia conhecimento técnico aprofundado de sua rede ou a compra de pacotes corporativos. A configuração era minimalista, com poucos interruptores, e o plano gratuito frequentemente atendia às necessidades por anos. Para projetos menores, era uma rara oportunidade de obter um serviço de infraestrutura sério de forma mais fácil e barata do que uma configuração autônoma.
Com o tempo, a empresa expandiu suas ofertas para incluir funções adjacentes: DNS autoritativo, certificados, CDN, WAF, gerenciamento de bots, funções serverless e armazenamento de objetos, culminando com o registro de domínios. O Cloudflare Registrar vende domínios sem margem de lucro adicional, ao preço de registro e ICANN, oferecendo simultaneamente DNS gratuito, CDN, SSL, DNSSEC e ocultação de dados WHOIS. Atualmente, o serviço suporta mais de 390 zonas de domínio. Embora o domínio não se torne legalmente propriedade da Cloudflare, na prática, o registro, DNS, certificados, regras de acesso e todo o tráfego do site convergem em um único painel. O tráfego para o site é direcionado aos servidores da Cloudflare, que filtram tudo, exceto requisições HTTP/HTTPS limpas. A empresa intercepta a requisição antes do proprietário do servidor, permitindo não apenas mitigar ataques, mas também impedir que visitantes cheguem ao nó de origem com base em sua avaliação de risco ou adequação da requisição.
A Cloudflare não divulga o número exato de domínios que atende, mas afirma que cerca de 20% do tráfego HTTP global passa por sua rede, e que ela faz proxy de um em cada cinco sites no mundo. Estimativas independentes, como as da W3Techs em julho de 2026, indicam que a Cloudflare é utilizada por aproximadamente 23,6% dos sites pesquisados e detém 83,7% do mercado entre os sites com proxy reverso identificado. Seus concorrentes mais próximos ficam várias vezes atrás. Nesse cenário de escala massiva, a alteração das configurações padrão transcende a função de um produto individual, tornando-se um mecanismo para estabelecer regras para uma parte significativa da web.
A nova classificação de bots é logicamente fundamentada. A categoria Search é responsável pela construção de índices para responder a consultas de busca. Na modelagem clássica, o buscador extraía a página, mas devolvia visitantes ao site. A categoria Agent atua sob solicitação humana, obtendo informações em tempo real; por exemplo, um usuário do ChatGPT pode abrir um artigo para ser resumido, ou um agente de navegador pode verificar preços ou preencher formulários. A categoria Training coleta dados para treinar ou refinar modelos de IA, sem uma conexão direta e imediata com a visita ao site. A Cloudflare considera a presença de publicidade um indicativo de que o proprietário espera atenção humana. Portanto, sugere-se permitir robôs de busca em páginas com anúncios, mas bloquear rastreadores de treinamento e agentes de usuário, pois estes últimos podem consumir conteúdo sem que o usuário veja a página ou a publicidade.
A categoria Agent é a mais controversa. Um agente não necessariamente prejudica a receita; ele pode identificar produtos, finalizar pedidos, agendar compromissos ou auxiliar pessoas com deficiência. Para um e-commerce, tal visitante pode ser mais valioso que um leitor comum. No entanto, a configuração padrão adota um modelo baseado em publicidade: se o usuário não visualiza a página, o editor não gera receita. A Cloudflare impõe um ultimato a robôs multifuncionais. Muitas empresas já diferenciam tarefas automatizadas; a OpenAI, por exemplo, utiliza GPTBot, OAI-SearchBot e ChatGPT-User para diferentes propósitos, permitindo a indexação por busca no ChatGPT, mas proibindo a coleta de dados para treinamento. Contudo, o Google apresenta uma divisão incompleta. Embora as regras para o Google-Extended no robots.txt permitam restringir o uso de páginas por sistemas Gemini sem removê-las da busca regular, o AI Overviews e o AI Mode são considerados parte do Google Search e utilizam o Googlebot. A documentação do Google especifica que a página deve estar acessível ao robô de busca convencional. Isso impede que proprietários de sites diferenciem adequadamente a busca clássica do Google, que gera tráfego, das respostas geradas por IA, que podem substituir a visita. A partir de 15 de setembro, a Cloudflare aplicará a configuração mais restritiva aos robôs multifuncionais. O bloqueio de Training poderá, consequentemente, impedir o acesso para fins de busca. A Cloudflare está ciente de que essa nova política afetará o Googlebot, Bingbot e Applebot, mesmo quando estiverem apenas indexando páginas para busca. Ao controlar milhões de domínios, a empresa busca influenciar grandes players, forçando-os a uma separação técnica clara entre busca, respostas de IA, interações de usuário e treinamento de modelos, de uma maneira compreensível para os sites e o próprio proxy.
A Cloudflare está efetivamente implementando um sistema de roteamento baseado em intenção (intent-based routing). Embora não no nível do IP, mas na "fronteira HTTP", o sistema Web Bot Auth responde à pergunta "quem"; as categorias Search, Agent e Training definem o "porquê"; Content Signals determinam "o que é permitido fazer"; regras de WAF decidem "passar ou parar"; e o código de status HTTP 402 sinaliza "quanto custa a passagem". Isso se traduz em controle de acesso baseado na intenção no proxy de borda. Uma requisição não é apenas direcionada a um domínio, mas deve explicar quem a enviou, com qual propósito e o que acontecerá com os dados após o recebimento. No contexto de um texto satírico sobre IPv10, isso seria uma descrição obrigatória do propósito legítimo da transmissão de dados. Na Cloudflare, é classificado como classificação de comportamento de bot.
A Cloudflare identifica bots verificados através de sua tecnologia Web Bot Auth, que utiliza HTTP Message Signatures com chaves Ed25519 para verificar a autenticidade da requisição. Essa verificação confirma a origem da requisição, mas não sua finalidade. Não é possível determinar criptograficamente se uma página será exibida a um humano, indexada, usada para treinamento ou simplesmente descartada. Portanto, a Cloudflare considera a descrição pública do serviço, o propósito declarado e o comportamento observado. Bots que se disfarçam ou burlam restrições podem ter sua verificação revogada. Um exemplo notável foi a revogação da verificação do Perplexity em 2025, sob a acusação de uso de endereços não declarados e requisições disfarçadas de Chrome. O Perplexity negou as acusações, mas o caso ilustra que um intermediário de infraestrutura agora decide quem se comporta de forma honesta. Adicionalmente, existe o BotBase, um catálogo para clientes Enterprise Bot Management, que lista robôs, suas categorias e IDs para uso em regras de WAF. O BotBase ainda não é um centro de gerenciamento de licenças completo. A Cloudflare também define três níveis de uso de conteúdo: immediate (executar ação sem salvar), reference (indexar, citar fragmentos e fornecer link) e full (resumir e reproduzir material). Atualmente, isso é transmitido apenas como um sinal no robots.txt através da diretiva Content-Signal, que não é um protocolo padronizado e não impõe bloqueios por si só. O bloqueio real só ocorre no nível do WAF.
O próximo passo lógico é a monetização do acesso. Em 2025, a Cloudflare iniciou testes com o "Pay Per Crawl", onde robôs recebem um código de status HTTP 402 Payment Required com o preço, confirmam o pagamento e repetem a requisição. A Cloudflare rastreia essas requisições e repassa o dinheiro ao proprietário do site. Paralelamente, está desenvolvendo o "Pay Per Use", que visa cobrar não apenas pelo download, mas pelo uso efetivo do material. Experimentos iniciais envolvem Ceramic.ai e You.com, e a criação de um "Monetization Gateway" para venda de acesso a páginas, bancos de dados, APIs e ferramentas MCP. O processo se torna direto: a Cloudflare identifica o bot, verifica as regras do site, informa o preço, processa o pagamento e, somente então, libera a página. Outras empresas como Fastly e AWS WAF já implementam classificações de bots e suportam pagamentos via HTTP 402. O diferencial da Cloudflare reside em seu plano gratuito, sua vasta participação de mercado e a capacidade de impactar milhões de domínios com uma única alteração de configuração.
A situação para conteúdo original é relativamente clara: o criador tem direito a controlar o uso e a monetização de seu trabalho. Na outra extremidade, a Wikipedia, com sua licença livre, incentiva o uso por bots benignos, embora com restrições de carga e API. No entanto, uma grande parte da internet é composta por intermediários – diretórios, agregadores e sites temáticos que compilam, verificam e atualizam fatos abertos. Seu produto pode ser a própria base de dados sistematizada. Mesmo com recursos governamentais, a linha é tênue. Quem tem o direito de cobrar de um agente de IA por acessar informações públicas? A Cloudflare não verifica a origem do material; o proprietário do domínio pode definir preços independentemente de ter criado conteúdo original ou compilado informações abertas. O "Pay Per Crawl" é uma barreira de acesso, não um registro de direitos autorais.
O próprio Habr serve como um exemplo de incerteza. A plataforma lucra com publicidade e blogs corporativos, hospedando conteúdo variado: artigos técnicos originais, publicações de empresas, traduções, resumos de notícias e compilações de informações abertas. Há também textos de origem incerta, possivelmente gerados por IA. Para um crawler, todos são páginas do habr.com. O Habr poderia cobrar pela leitura por bots? Tecnicamente, sim, pois mantém a plataforma, armazena publicações, organiza a busca, moderação e entrega. Com um artigo original, a questão moral é clara, especialmente se o autor receber parte do pagamento. Com um resumo de notícias alheias, a situação é mais complexa: a informação original foi obtida por um veículo, o texto foi reprocessado por um usuário ou editor, e a audiência e infraestrutura foram fornecidas pelo Habr. No caso de textos gerados por IA, nem mesmo a autoria do trabalho que gera valor vendável é clara. Publicações não originais no Habr são mais numerosas do que se poderia supor, mas sua proporção exata é impossível de determinar. Portanto, um preço único de acesso ao Habr significaria o pagamento pelo acesso a uma massa de materiais de origens diversas, e não necessariamente pelo trabalho autoral. Se o dinheiro permanecer na plataforma, sem chegar aos autores originais ou às fontes das notícias resumidas, o modelo se torna moralmente questionável, não muito diferente da coleta gratuita de conteúdo por empresas de IA. O mesmo fato público pode ser vendido por vários sites. É provável que empresas de IA paguem por materiais únicos e bases de dados de alta qualidade e atualizadas, enquanto cópias simples podem se tornar obsoletas. Contudo, a Cloudflare não resolve a questão de quem é o destinatário justo do dinheiro; ela apenas controla o acesso a um servidor específico.
Após fevereiro de 2022, sites russos enfrentaram uma onda de ataques DDoS, varreduras, tentativas de exploração de vulnerabilidades conhecidas e defacements. Recursos web de empresas e organizações começaram a ocultar seus servidores de origem atrás de WAFs e redes de filtragem. A razão era prática: proprietários de pequenos sites, mesmo sem segredos de estado, não queriam encontrar mensagens de invasão ou bandeiras estrangeiras em suas páginas principais pela manhã. Mesmo a filtragem externa de baixo custo passou a ser vista como uma proteção essencial, não apenas um serviço para bancos. A Cloudflare era ideal para isso: rápida de conectar, gratuita e mais eficaz do que um nginx configurado manualmente com listas de endereços. Se não fossem as restrições russas subsequentes, uma grande parte dos sites menores teria permanecido sob sua proteção. No entanto, primeiro, endereços individuais da Cloudflare foram bloqueados, e em novembro de 2024, surgiram problemas devido à filtragem do Encrypted Client Hello. No verão de 2025, as restrições se tornaram generalizadas: a Cloudflare relatou uma queda de 30-50% no tráfego russo, e em algumas redes, as conexões eram interrompidas após os primeiros 16 KB transmitidos. Embora não haja uma proibição formal completa, construir um site voltado para o público russo sobre a Cloudflare tornou-se imprudente.
Atualmente, não existe um análogo direto do plano gratuito da Cloudflare na Rússia. Elementos individuais podem ser obtidos gratuitamente ou a baixo custo, mas não o conjunto completo. Muitos provedores de hospedagem russos incluem proteção básica contra ataques DDoS em seus planos de VPS ou servidores dedicados. Às vezes, DNS, SSL e filtragem simples são oferecidos gratuitamente. No entanto, a proteção L3-L4 não substitui um WAF; ela protege o canal contra tráfego indesejado, mas não impede injeções SQL, exploração de plugins vulneráveis de WordPress ou bots que descarregam páginas metodicamente. Serviços completos são oferecidos por empresas como DDoS-Guard, NGENIX, EdgeЦентр, Selectel, Solar Space, VK Cloud, entre outras. Geralmente, CDNs ainda podem ser contratadas por um valor baixo com pagamento por tráfego, mas WAFs, proteção avançada contra bots e proxy contínuo são significativamente mais caros ou calculados individualmente. O Yandex Smart Web Security é particularmente notável. Ele oferece tarifação por requisição com um limite gratuito de 10 mil requisições, mas a proteção completa do domínio exige recursos de proxy e tráfego pagos. Um cálculo publicado estima o processamento de um milhão de requisições permitidas por um perfil de segurança e WAF em 54.900 rublos, sem incluir proxy e proteção adicional. A assinatura Start começa em 50.833 rublos para AntiDDoS mais 40.667 rublos para WAF por mês, com contrato anual. Este é um serviço corporativo, não um substituto para o botão gratuito da Cloudflare para sites pessoais. Com a Selectel, é possível contratar separadamente proteção DDoS, WAF, CDN e DNS gratuito, mas é um conjunto de serviços independentes. O Solar Space foca em pequenas e médias empresas, enquanto outros grandes provedores oferecem testes ou planos personalizados. Existe proteção básica barata, mas não um proxy gratuito completo com CDN, SSL, WAF e gerenciamento de bots.
As CDNs e WAFs russas estão diante de um novo mercado. A proteção contra bots de IA logo se tornará um serviço separado, ao qual poderá ser adicionado o acesso pago ao conteúdo. O Yandex e o VK possuem as posições mais fortes nesse cenário, devido à sua infraestrutura, publicidade, mecanismos de busca, modelos próprios e grande base de usuários. Uma única empresa poderá proteger sites, classificar bots, calcular o uso de materiais e processar pagamentos. Isso cria um conflito de interesses óbvio: o provedor determinará simultaneamente qual bot é considerado de busca, qual uso requer pagamento, quanto custa o acesso, qual comissão o intermediário recebe e quais sites representam valor para seu próprio modelo. O valor da comissão pode ser arbitrário, mas o ponto crucial é que quanto mais sites estiverem sob o WAF de uma única empresa, mais fácil será impor condições tanto aos proprietários de conteúdo quanto aos desenvolvedores de IA. As restrições russas, portanto, levam a um resultado paradoxal: um intermediário internacional que oferecia serviços básicos gratuitamente está sendo expulso do mercado. Seu lugar será ocupado por empresas locais, que integrarão ainda mais a infraestrutura, publicidade, busca, IA e relações com o governo.
Em resumo, a Cloudflare está construindo um sistema onde um bot deve confirmar seu operador, declarar o propósito de sua requisição, cumprir os termos do site e, se necessário, pagar. Para criadores de conteúdo único, isso representa uma forma de recuperar parte do controle. Para projetos abertos, é uma oportunidade de permitir o uso benéfico sem renunciar à limitação de carga. Para agregadores, é a chance de vender bases de dados de qualidade, mas também o risco de se tornarem uma camada intermediária desnecessária. Na internet antiga, a Cloudflare era um tubo com uma grade eficaz contra impurezas. Agora, ela se transforma em um porteiro que decide quem passa e um caixa registrador que coleta o pagamento pela entrada.
🛡️⚡
Pare de pesquisar. Comece a hackear.
O MundiX é seu copiloto de pentest com IA: comandos exatos, análise de outputs e próximo passo na kill chain — em segundos.
Sem cartão para começar · Planos a partir de R$49/mês
A Cloudflare, um nome familiar para provedores de CDN e WAF, está evoluindo de um simples facilitador de tráfego para um guardião e cobrador de acesso à internet. Recentemente, a empresa anunciou que não apenas identificará bots de IA nas estatísticas de tráfego, mas também os categorizará, permitindo que alguns acessem conteúdos enquanto outros são bloqueados. Essa nova abordagem, que inclui a iminente monetização do acesso, marca uma mudança significativa na forma como a internet opera.
A Cloudflare dividiu os bots de IA em três categorias principais: Search, Agent e Training. Os proprietários de sites agora têm a capacidade de gerenciar independentemente a indexação de busca, as requisições de agentes em nome de usuários e a coleta de dados para treinamento de modelos de IA. Para cada categoria, três modos de controle estão disponíveis: permitir, bloquear em todos os lugares ou bloquear apenas em páginas com publicidade. A partir de 15 de setembro de 2026, domínios recém-adicionados terão as categorias Training e Agent bloqueadas por padrão em páginas com anúncios, enquanto Search permanecerá permitido. Clientes gratuitos existentes que não definirem suas próprias regras receberão configurações semelhantes. Uma regra crucial é que robôs com múltiplas finalidades terão a restrição mais rigorosa aplicada. Isso significa que o bloqueio de treinamento afetará bots como Googlebot, Bingbot e Applebot, mesmo quando estiverem em missões de indexação para busca.
A ascensão da Cloudflare à posição de "tubo principal" da internet se deve não apenas à sua robusta proteção, mas também à sua simplicidade de implementação. Proprietários de pequenos sites podiam registrar-se, transferir suas zonas DNS, alterar servidores NS e ativar o proxy com um simples clique, obtendo em minutos CDN, SSL, ocultação de IP do servidor de origem, filtragem de ataques e proteção DDoS considerável, muitas vezes gratuitamente. A Cloudflare raramente exigia conhecimento técnico aprofundado de sua rede ou a compra de pacotes corporativos. A configuração era minimalista, com poucos interruptores, e o plano gratuito frequentemente atendia às necessidades por anos. Para projetos menores, era uma rara oportunidade de obter um serviço de infraestrutura sério de forma mais fácil e barata do que uma configuração autônoma.
Com o tempo, a empresa expandiu suas ofertas para incluir funções adjacentes: DNS autoritativo, certificados, CDN, WAF, gerenciamento de bots, funções serverless e armazenamento de objetos, culminando com o registro de domínios. O Cloudflare Registrar vende domínios sem margem de lucro adicional, ao preço de registro e ICANN, oferecendo simultaneamente DNS gratuito, CDN, SSL, DNSSEC e ocultação de dados WHOIS. Atualmente, o serviço suporta mais de 390 zonas de domínio. Embora o domínio não se torne legalmente propriedade da Cloudflare, na prática, o registro, DNS, certificados, regras de acesso e todo o tráfego do site convergem em um único painel. O tráfego para o site é direcionado aos servidores da Cloudflare, que filtram tudo, exceto requisições HTTP/HTTPS limpas. A empresa intercepta a requisição antes do proprietário do servidor, permitindo não apenas mitigar ataques, mas também impedir que visitantes cheguem ao nó de origem com base em sua avaliação de risco ou adequação da requisição.
A Cloudflare não divulga o número exato de domínios que atende, mas afirma que cerca de 20% do tráfego HTTP global passa por sua rede, e que ela faz proxy de um em cada cinco sites no mundo. Estimativas independentes, como as da W3Techs em julho de 2026, indicam que a Cloudflare é utilizada por aproximadamente 23,6% dos sites pesquisados e detém 83,7% do mercado entre os sites com proxy reverso identificado. Seus concorrentes mais próximos ficam várias vezes atrás. Nesse cenário de escala massiva, a alteração das configurações padrão transcende a função de um produto individual, tornando-se um mecanismo para estabelecer regras para uma parte significativa da web.
A nova classificação de bots é logicamente fundamentada. A categoria Search é responsável pela construção de índices para responder a consultas de busca. Na modelagem clássica, o buscador extraía a página, mas devolvia visitantes ao site. A categoria Agent atua sob solicitação humana, obtendo informações em tempo real; por exemplo, um usuário do ChatGPT pode abrir um artigo para ser resumido, ou um agente de navegador pode verificar preços ou preencher formulários. A categoria Training coleta dados para treinar ou refinar modelos de IA, sem uma conexão direta e imediata com a visita ao site. A Cloudflare considera a presença de publicidade um indicativo de que o proprietário espera atenção humana. Portanto, sugere-se permitir robôs de busca em páginas com anúncios, mas bloquear rastreadores de treinamento e agentes de usuário, pois estes últimos podem consumir conteúdo sem que o usuário veja a página ou a publicidade.
A categoria Agent é a mais controversa. Um agente não necessariamente prejudica a receita; ele pode identificar produtos, finalizar pedidos, agendar compromissos ou auxiliar pessoas com deficiência. Para um e-commerce, tal visitante pode ser mais valioso que um leitor comum. No entanto, a configuração padrão adota um modelo baseado em publicidade: se o usuário não visualiza a página, o editor não gera receita. A Cloudflare impõe um ultimato a robôs multifuncionais. Muitas empresas já diferenciam tarefas automatizadas; a OpenAI, por exemplo, utiliza GPTBot, OAI-SearchBot e ChatGPT-User para diferentes propósitos, permitindo a indexação por busca no ChatGPT, mas proibindo a coleta de dados para treinamento. Contudo, o Google apresenta uma divisão incompleta. Embora as regras para o Google-Extended no robots.txt permitam restringir o uso de páginas por sistemas Gemini sem removê-las da busca regular, o AI Overviews e o AI Mode são considerados parte do Google Search e utilizam o Googlebot. A documentação do Google especifica que a página deve estar acessível ao robô de busca convencional. Isso impede que proprietários de sites diferenciem adequadamente a busca clássica do Google, que gera tráfego, das respostas geradas por IA, que podem substituir a visita. A partir de 15 de setembro, a Cloudflare aplicará a configuração mais restritiva aos robôs multifuncionais. O bloqueio de Training poderá, consequentemente, impedir o acesso para fins de busca. A Cloudflare está ciente de que essa nova política afetará o Googlebot, Bingbot e Applebot, mesmo quando estiverem apenas indexando páginas para busca. Ao controlar milhões de domínios, a empresa busca influenciar grandes players, forçando-os a uma separação técnica clara entre busca, respostas de IA, interações de usuário e treinamento de modelos, de uma maneira compreensível para os sites e o próprio proxy.
A Cloudflare está efetivamente implementando um sistema de roteamento baseado em intenção (intent-based routing). Embora não no nível do IP, mas na "fronteira HTTP", o sistema Web Bot Auth responde à pergunta "quem"; as categorias Search, Agent e Training definem o "porquê"; Content Signals determinam "o que é permitido fazer"; regras de WAF decidem "passar ou parar"; e o código de status HTTP 402 sinaliza "quanto custa a passagem". Isso se traduz em controle de acesso baseado na intenção no proxy de borda. Uma requisição não é apenas direcionada a um domínio, mas deve explicar quem a enviou, com qual propósito e o que acontecerá com os dados após o recebimento. No contexto de um texto satírico sobre IPv10, isso seria uma descrição obrigatória do propósito legítimo da transmissão de dados. Na Cloudflare, é classificado como classificação de comportamento de bot.
A Cloudflare identifica bots verificados através de sua tecnologia Web Bot Auth, que utiliza HTTP Message Signatures com chaves Ed25519 para verificar a autenticidade da requisição. Essa verificação confirma a origem da requisição, mas não sua finalidade. Não é possível determinar criptograficamente se uma página será exibida a um humano, indexada, usada para treinamento ou simplesmente descartada. Portanto, a Cloudflare considera a descrição pública do serviço, o propósito declarado e o comportamento observado. Bots que se disfarçam ou burlam restrições podem ter sua verificação revogada. Um exemplo notável foi a revogação da verificação do Perplexity em 2025, sob a acusação de uso de endereços não declarados e requisições disfarçadas de Chrome. O Perplexity negou as acusações, mas o caso ilustra que um intermediário de infraestrutura agora decide quem se comporta de forma honesta. Adicionalmente, existe o BotBase, um catálogo para clientes Enterprise Bot Management, que lista robôs, suas categorias e IDs para uso em regras de WAF. O BotBase ainda não é um centro de gerenciamento de licenças completo. A Cloudflare também define três níveis de uso de conteúdo: immediate (executar ação sem salvar), reference (indexar, citar fragmentos e fornecer link) e full (resumir e reproduzir material). Atualmente, isso é transmitido apenas como um sinal no robots.txt através da diretiva Content-Signal, que não é um protocolo padronizado e não impõe bloqueios por si só. O bloqueio real só ocorre no nível do WAF.
O próximo passo lógico é a monetização do acesso. Em 2025, a Cloudflare iniciou testes com o "Pay Per Crawl", onde robôs recebem um código de status HTTP 402 Payment Required com o preço, confirmam o pagamento e repetem a requisição. A Cloudflare rastreia essas requisições e repassa o dinheiro ao proprietário do site. Paralelamente, está desenvolvendo o "Pay Per Use", que visa cobrar não apenas pelo download, mas pelo uso efetivo do material. Experimentos iniciais envolvem Ceramic.ai e You.com, e a criação de um "Monetization Gateway" para venda de acesso a páginas, bancos de dados, APIs e ferramentas MCP. O processo se torna direto: a Cloudflare identifica o bot, verifica as regras do site, informa o preço, processa o pagamento e, somente então, libera a página. Outras empresas como Fastly e AWS WAF já implementam classificações de bots e suportam pagamentos via HTTP 402. O diferencial da Cloudflare reside em seu plano gratuito, sua vasta participação de mercado e a capacidade de impactar milhões de domínios com uma única alteração de configuração.
A situação para conteúdo original é relativamente clara: o criador tem direito a controlar o uso e a monetização de seu trabalho. Na outra extremidade, a Wikipedia, com sua licença livre, incentiva o uso por bots benignos, embora com restrições de carga e API. No entanto, uma grande parte da internet é composta por intermediários – diretórios, agregadores e sites temáticos que compilam, verificam e atualizam fatos abertos. Seu produto pode ser a própria base de dados sistematizada. Mesmo com recursos governamentais, a linha é tênue. Quem tem o direito de cobrar de um agente de IA por acessar informações públicas? A Cloudflare não verifica a origem do material; o proprietário do domínio pode definir preços independentemente de ter criado conteúdo original ou compilado informações abertas. O "Pay Per Crawl" é uma barreira de acesso, não um registro de direitos autorais.
O próprio Habr serve como um exemplo de incerteza. A plataforma lucra com publicidade e blogs corporativos, hospedando conteúdo variado: artigos técnicos originais, publicações de empresas, traduções, resumos de notícias e compilações de informações abertas. Há também textos de origem incerta, possivelmente gerados por IA. Para um crawler, todos são páginas do habr.com. O Habr poderia cobrar pela leitura por bots? Tecnicamente, sim, pois mantém a plataforma, armazena publicações, organiza a busca, moderação e entrega. Com um artigo original, a questão moral é clara, especialmente se o autor receber parte do pagamento. Com um resumo de notícias alheias, a situação é mais complexa: a informação original foi obtida por um veículo, o texto foi reprocessado por um usuário ou editor, e a audiência e infraestrutura foram fornecidas pelo Habr. No caso de textos gerados por IA, nem mesmo a autoria do trabalho que gera valor vendável é clara. Publicações não originais no Habr são mais numerosas do que se poderia supor, mas sua proporção exata é impossível de determinar. Portanto, um preço único de acesso ao Habr significaria o pagamento pelo acesso a uma massa de materiais de origens diversas, e não necessariamente pelo trabalho autoral. Se o dinheiro permanecer na plataforma, sem chegar aos autores originais ou às fontes das notícias resumidas, o modelo se torna moralmente questionável, não muito diferente da coleta gratuita de conteúdo por empresas de IA. O mesmo fato público pode ser vendido por vários sites. É provável que empresas de IA paguem por materiais únicos e bases de dados de alta qualidade e atualizadas, enquanto cópias simples podem se tornar obsoletas. Contudo, a Cloudflare não resolve a questão de quem é o destinatário justo do dinheiro; ela apenas controla o acesso a um servidor específico.
Após fevereiro de 2022, sites russos enfrentaram uma onda de ataques DDoS, varreduras, tentativas de exploração de vulnerabilidades conhecidas e defacements. Recursos web de empresas e organizações começaram a ocultar seus servidores de origem atrás de WAFs e redes de filtragem. A razão era prática: proprietários de pequenos sites, mesmo sem segredos de estado, não queriam encontrar mensagens de invasão ou bandeiras estrangeiras em suas páginas principais pela manhã. Mesmo a filtragem externa de baixo custo passou a ser vista como uma proteção essencial, não apenas um serviço para bancos. A Cloudflare era ideal para isso: rápida de conectar, gratuita e mais eficaz do que um nginx configurado manualmente com listas de endereços. Se não fossem as restrições russas subsequentes, uma grande parte dos sites menores teria permanecido sob sua proteção. No entanto, primeiro, endereços individuais da Cloudflare foram bloqueados, e em novembro de 2024, surgiram problemas devido à filtragem do Encrypted Client Hello. No verão de 2025, as restrições se tornaram generalizadas: a Cloudflare relatou uma queda de 30-50% no tráfego russo, e em algumas redes, as conexões eram interrompidas após os primeiros 16 KB transmitidos. Embora não haja uma proibição formal completa, construir um site voltado para o público russo sobre a Cloudflare tornou-se imprudente.
Atualmente, não existe um análogo direto do plano gratuito da Cloudflare na Rússia. Elementos individuais podem ser obtidos gratuitamente ou a baixo custo, mas não o conjunto completo. Muitos provedores de hospedagem russos incluem proteção básica contra ataques DDoS em seus planos de VPS ou servidores dedicados. Às vezes, DNS, SSL e filtragem simples são oferecidos gratuitamente. No entanto, a proteção L3-L4 não substitui um WAF; ela protege o canal contra tráfego indesejado, mas não impede injeções SQL, exploração de plugins vulneráveis de WordPress ou bots que descarregam páginas metodicamente. Serviços completos são oferecidos por empresas como DDoS-Guard, NGENIX, EdgeЦентр, Selectel, Solar Space, VK Cloud, entre outras. Geralmente, CDNs ainda podem ser contratadas por um valor baixo com pagamento por tráfego, mas WAFs, proteção avançada contra bots e proxy contínuo são significativamente mais caros ou calculados individualmente. O Yandex Smart Web Security é particularmente notável. Ele oferece tarifação por requisição com um limite gratuito de 10 mil requisições, mas a proteção completa do domínio exige recursos de proxy e tráfego pagos. Um cálculo publicado estima o processamento de um milhão de requisições permitidas por um perfil de segurança e WAF em 54.900 rublos, sem incluir proxy e proteção adicional. A assinatura Start começa em 50.833 rublos para AntiDDoS mais 40.667 rublos para WAF por mês, com contrato anual. Este é um serviço corporativo, não um substituto para o botão gratuito da Cloudflare para sites pessoais. Com a Selectel, é possível contratar separadamente proteção DDoS, WAF, CDN e DNS gratuito, mas é um conjunto de serviços independentes. O Solar Space foca em pequenas e médias empresas, enquanto outros grandes provedores oferecem testes ou planos personalizados. Existe proteção básica barata, mas não um proxy gratuito completo com CDN, SSL, WAF e gerenciamento de bots.
As CDNs e WAFs russas estão diante de um novo mercado. A proteção contra bots de IA logo se tornará um serviço separado, ao qual poderá ser adicionado o acesso pago ao conteúdo. O Yandex e o VK possuem as posições mais fortes nesse cenário, devido à sua infraestrutura, publicidade, mecanismos de busca, modelos próprios e grande base de usuários. Uma única empresa poderá proteger sites, classificar bots, calcular o uso de materiais e processar pagamentos. Isso cria um conflito de interesses óbvio: o provedor determinará simultaneamente qual bot é considerado de busca, qual uso requer pagamento, quanto custa o acesso, qual comissão o intermediário recebe e quais sites representam valor para seu próprio modelo. O valor da comissão pode ser arbitrário, mas o ponto crucial é que quanto mais sites estiverem sob o WAF de uma única empresa, mais fácil será impor condições tanto aos proprietários de conteúdo quanto aos desenvolvedores de IA. As restrições russas, portanto, levam a um resultado paradoxal: um intermediário internacional que oferecia serviços básicos gratuitamente está sendo expulso do mercado. Seu lugar será ocupado por empresas locais, que integrarão ainda mais a infraestrutura, publicidade, busca, IA e relações com o governo.
Em resumo, a Cloudflare está construindo um sistema onde um bot deve confirmar seu operador, declarar o propósito de sua requisição, cumprir os termos do site e, se necessário, pagar. Para criadores de conteúdo único, isso representa uma forma de recuperar parte do controle. Para projetos abertos, é uma oportunidade de permitir o uso benéfico sem renunciar à limitação de carga. Para agregadores, é a chance de vender bases de dados de qualidade, mas também o risco de se tornarem uma camada intermediária desnecessária. Na internet antiga, a Cloudflare era um tubo com uma grade eficaz contra impurezas. Agora, ela se transforma em um porteiro que decide quem passa e um caixa registrador que coleta o pagamento pela entrada.
📤 Compartilhar & Baixar
🧰 Ferramentas recomendadas
Divulgação: alguns links são patrocinados. Podemos receber comissão se você comprar — sem custo extra para você. Só indicamos o que faz sentido para a comunidade.
