Ferramentas de SEO

Gerador de robots.txt online

Monte um robots.txt correto: escolha o modo, adicione bloqueios a partir de predefinições ou os seus próprios e indique o sitemap — o arquivo é montado em tempo real.

Funciona no navegador — os dados não são enviados a nenhum servidor
Modo
Predefinições rápidas (adicionam bloqueios)

O arquivo fica na raiz do site: site.com/robots.txt. Uma diretiva Disallow vazia significa "tudo permitido". A diretiva Clean-param só é entendida pelo Yandex, por isso sai numa seção separada User-agent: Yandex.

Precisa de dados sob medida, e não de utilitários?

Coletamos e organizamos dados de sites: preços, produtos, contatos e avaliações — no formato e na frequência de que você precisa.