ListaDePublishersBot
Este é o robô que visita os veículos do catálogo. A página existe para que qualquer administrador de site saiba exatamente quem o está visitando, o que ele lê, e o que acontece se decidir barrá-lo.
- User-agent
- ListaDePublishersBot/1.0
- Página de identificação
- listadepublishers.com.br/bot
- Frequência
- no máximo 1 visita por veículo por dia
- O que lê
- home, robots.txt, sitemap, ads.txt, llms.txt e feed RSS
Como ele se identifica
Toda requisição carrega este cabeçalho, sem disfarce e sem rotação de identidade:
ListaDePublishersBot/1.0 (+https://listadepublishers.com.br/bot)
Como ele se comporta
- Respeita o
robots.txtsegundo a RFC 9309, inclusiveCrawl-delay. - Respeita o cabeçalho
Retry-Afterquando o servidor responde 429 ou 5xx. - Espera progressivamente mais a cada nova tentativa, e desiste em vez de insistir.
- Não tenta de novo diante de erro 4xx que não seja 429 — se o servidor disse não, é não.
- Lê apenas páginas públicas. Não preenche formulário, não faz login, não contorna paywall.
- Não copia texto de matéria: guarda metadado técnico, e do feed guarda só título, síntese e link.
O que exatamente ele coleta
Tudo o que ele lê é o que qualquer visitante veria abrindo o navegador. A lista completa, com o método de cada item, está na metodologia, e o que fazemos com esses dados está na política de privacidade.
Como bloquear
Basta acrescentar isto ao seu robots.txt. Obedecemos na visita seguinte:
User-agent: ListaDePublishersBot
Disallow: /O que muda quando você bloqueia
Uma coisa só: as suas manchetes deixam de aparecer no nosso agregador de notícias. É isso, e nada além disso.
- A ficha do seu veículo continua existindo no catálogo.
- Nome, domínio, editoria e alcance continuam publicados — são informação pública.
- Os dados técnicos já coletados continuam na ficha, com a data em que foram coletados.
- Paramos de atualizá-los, então eles envelhecem em vez de sumirem.
- Você deixa de receber o tráfego que o agregador manda para o seu site.
Vale dizer sem rodeio: o agregador manda leitor para o seu site, com crédito e link direto. Bloquear é seu direito, mas o que se perde é visita, não exposição.
Se você quer o contrário
Se o seu site bloqueia robôs por padrão e você quer aparecer com ficha técnica completa e manchetes no agregador, libere explicitamente:
User-agent: ListaDePublishersBot
Allow: /Quero o meu portal fora do catálogo
Bloquear o robô não remove o seu veículo daqui — só interrompe a coleta. Para sair do catálogo é preciso pedir, e o pedido vai por e-mail:
fale@maturidade.digitalEscreva do e-mail institucional do domínio, para sabermos que o pedido é de quem responde pelo veículo. Confirmamos a remoção por escrito.