O que cada arquivo faz
O robots.txt é um arquivo de texto na raiz do site, por exemplo seusite.com.br/robots.txt. Ele orienta robôs de busca sobre o que podem ou não rastrear. É um pedido de boa conduta: robôs sérios, como o do Google, seguem; robôs mal-intencionados ignoram.
O sitemap.xml é uma lista das URLs importantes do site, com datas de atualização opcionais. Serve de mapa para os buscadores.
Um robots.txt simples
Um exemplo básico, que libera tudo e aponta o sitemap:
User-agent: * Disallow: Sitemap: https://seusite.com.br/sitemap.xml
Para bloquear uma pasta, como a área administrativa, você escreve Disallow: /admin/ abaixo do User-agent. Lembre que bloquear aí não é segurança: quem sabe o endereço ainda pode abri-lo.
Um sitemap.xml simples
O arquivo tem uma entrada por página, com a URL completa dentro de uma marcação de endereço. Muitos gerenciadores de conteúdo e plugins geram o sitemap sozinhos e o atualizam a cada publicação. Se o seu site é feito à mão, você pode escrever o arquivo ou usar um gerador online.
Inclua só páginas que devem aparecer nas buscas, com endereço definitivo, sem redirecionamentos e sem páginas de erro.
Como enviar ao Google
- Abra o Google Search Console e verifique a propriedade do seu domínio.
- Procure a seção de sitemaps (o nome do menu pode variar).
- Informe o endereço do arquivo, como sitemap.xml, e envie.
- Volte depois de alguns dias para ver se houve erros de leitura.
Erros comuns
- Um Disallow: / esquecido de quando o site estava em construção, que bloqueia tudo.
- Bloquear arquivos de estilo ou script que o buscador precisa para entender a página.
- Sitemap com endereços que não existem mais.
- Achar que o robots.txt protege informação sensível.
Se estiver começando, entenda também como o endereço chega ao navegador em Domínio, hospedagem e DNS.
