Cloudflare vai mudar o acesso de crawlers de IA: o que isso significa para o SEO
Redação Lista de Publishers 2 min de leitura
Para novos domínios que entrarem na Cloudflare, crawlers classificados como Training, usados para treinar ou ajustar modelos, e Agent, que executam tarefas em nome de usuários, serão bloqueados por padrão em páginas que exibem anúncios. Já os crawlers de Search, usados para indexação e respostas com potencial de gerar referências, continuarão permitidos por padrão.
Categoria | Função | Padrão anunciado em páginas com anúncios |
Search | Indexar conteúdo para responder a consultas | Permitido |
Agent | Executar tarefas em tempo real | Bloqueado |
Training | Treinar ou ajustar modelos | Bloqueado |
O ponto de atenção para o Google
A principal ressalva envolve crawlers multipropósito. Segundo a Cloudflare, robôs que combinam as funções de Search e Training serão avaliados por todas as funções que exercem. Por isso, um site que bloquear Training poderá bloquear também crawlers como Googlebot, Applebot e BingBot, mesmo mantendo Search permitido.
Isso pode afetar o SEO. O Google confirma que o Googlebot é o crawler usado pelo Google Search e que impedir seu acesso prejudica o rastreamento e pode afetar a indexação do site.
A mudança não representa um bloqueio automático de todos os sites já existentes na Cloudflare. No entanto, a nova regra para crawlers multipropósito pode afetar zonas que já utilizam políticas de bloqueio de Training, inclusive a configuração antiga Block AI bots. Por isso, não é seguro presumir que nenhum site existente será impactado.
O que os administradores devem fazer
Antes de 15 de setembro, verifique em Cloudflare → Security Settings → Configure AI bot policies como estão configuradas as categorias Search, Agent e Training. Confira também a configuração legada Block AI bots e verifique se o Googlebot aparece entre os crawlers afetados.
Depois da alteração, acompanhe o rastreamento no Google Search Console e os registros de acesso do servidor. O objetivo é proteger o conteúdo de uso indevido sem bloquear, por engano, os robôs responsáveis pela visibilidade orgânica.
Em resumo: o anúncio da Cloudflare é verdadeiro, mas não significa que todos os sites serão bloqueados. O risco mais relevante está em aplicar um bloqueio amplo de Training e, com isso, atingir crawlers de busca importantes para o SEO.
Referências
Your site, your rules: new AI traffic options for all customers — Cloudflare
