Como cada número chega aqui

De onde vem o catálogo

A base é montada por três frentes que se somam: pesquisa sobre o mercado de mídia brasileiro, curadoria editorial de quem conhece o setor, e robôs de descoberta que varrem a web atrás de veículos ainda não catalogados.

Nada entra cru. Cada registro passa por normalização de domínio, de telefone e de e-mail, e veículos repetidos são fundidos por chave de identidade — o domínio, quando existe; o nome, quando não. É o que evita o mesmo jornal aparecer três vezes porque foi escrito de três jeitos.

Um veículo pode existir na base sem domínio, quando a fonte trouxe só o nome. Essas fichas ficam registradas, mas não recebem coleta técnica: não há o que visitar.

Como classificamos a editoria

As categorias de origem vinham em texto livre, com grafias inconsistentes. Cada string foi decomposta em termos atômicos e casada contra um dicionário de sinônimos, que aponta para categorias padronizadas pela taxonomia IAB Content 2.2.

Usamos a versão 2.2, e não a 3.0, por um motivo prático: a 3.0 não tem termos de notícia. Onde a 2.2 oferece 379 News and Politics e 384 Local News, a 3.0 simplesmente não cobre o assunto — o que a torna inútil justamente para um catálogo de imprensa. Onde existe equivalência, guardamos os dois códigos.

Como o robô coleta

O ListaDePublishersBot visita a home de cada veículo e, a partir dela, busca robots.txt, sitemap.xml, ads.txt, llms.txt e o feed RSS. De cada resposta extraímos:

• plataforma de publicação, tema e tecnologias, por assinatura no HTML, nos cabeçalhos e nos caminhos de arquivo;
• sinais de SEO: título, meta description, canonical, idioma, dados estruturados, Open Graph;
• sinais de monetização: redes de anúncio presentes e o conteúdo do ads.txt;
• dados de contato do rodapé: e-mail, telefone, CEP, CNPJ e endereço, quando publicados;
• a política declarada no robots.txt para cada agente de IA monitorado.

Cada coleta gera um registro novo — nunca sobrescrevemos o anterior. Isso significa que a base guarda a história de cada veículo, e que um erro de leitura não apaga o que estava certo antes.

Como resolvemos a política para agentes de IA

A precedência das regras do robots.txt segue a RFC 9309: vale o grupo cujo User-agent for mais específico para aquele agente, e dentro do grupo vence a diretiva de caminho mais longa. Um Disallow: / num grupo genérico não bloqueia um agente que tenha grupo próprio permitindo.

Registramos, para cada agente, qual regra exata decidiu o resultado. É o que permite conferir a conclusão em vez de confiar nela.

Desempenho

As notas vêm do Google PageSpeed Insights em estratégia móvel. Quando o veículo tem volume suficiente de tráfego real, o próprio Google devolve dados de campo — e é esse dado que preferimos ao de laboratório.