Aplicar regras aos URL certos
O grupo geral do exemplo bloqueia /internal-search/ e permite /internal-search/help/. Os caminhos são ilustrativos. Sitemap indica um endereço para descoberta, não uma ordem de indexação. Verifique se existe um grupo mais específico para o rastreador.
User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xmlEscolher o controlo adequado
- Recursos privados exigem autenticação e autorização no servidor. Mencioná-los em robots.txt não os protege.
- Para excluir uma página pública do índice, disponibilize noindex para leitura. Bloquear o rastreio pode impedir essa leitura.
- Reduza rastreios desnecessários com regras dirigidas, preservando o acesso aos recursos de renderização.
Verificar a resposta efetiva
Confirme o ficheiro na raiz do protocolo, anfitrião e porta corretos, depois URL exatos, maiúsculas e grupos. Consulte o relatório robots.txt e a inspeção de URL no Search Console. Um efeito visível pode exigir novo rastreio.
Fontes primárias
- Google Search Central — Introduction to robots.txt [EN]
- Google — Robots.txt specification [EN]
- Google Search Central — noindex [EN]
Teste o caminho de acesso antes de alterar o robots.txt.
Uma regra do robots.txt controla a indexação, não a remoção garantida do índice. Bloquear uma página que precisa ser buscada para que uma diretiva noindex possa ser lida pode criar um sinal contraditório.
- Teste o URL exato e o grupo de rastreadores aplicável.
- Compare as regras de robôs, a resposta HTTP e as diretivas da página.
- Reproduza a descoberta por meio de links HTML após cada alteração.
Fonte primária: Google Search Central — Crawling and indexing. Método relacionado: consultar o guia prático.
Conteúdo apresentado com JavaScript
O HTML recebido pode diferir do conteúdo mostrado no navegador.
- Guarde HTML recebido e DOM após JavaScript para o mesmo URL. Compare título, resposta principal, ligações href e canonical.
- Simule API lenta ou falhada sem sessão iniciada. Carregamento permanente ou página vazia com 200 exigem tratamento explícito.
- Verifique se robots bloqueia recursos necessários e se um URL interno abre diretamente. Examine HTML renderizado com as ferramentas de inspeção disponíveis.
Caso de aceitação reproduzível
Exemplo fictício: estes dados não descrevem clientes nem resultados observados.
Ver dados do caso
{
"response_status": 200,
"html_link": "<span onclick=\"navigate()\">Item</span>",
"rendered_text": true,
"script_failure_test": true
}Decisão esperada
Um span clicável não substitui um link href. Teste também sem scripts.
Procedimento de verificação
- Capture HTML, conteúdo renderizado e links href.
- Desative scripts e teste navegação essencial.
- Conserve canonical e robots dos dois estados.
Um 200 prova que o conteúdo é indexável?
Não. Verifique conteúdo, controlos e recursos; o estado não garante indexação.
Fonte primária: Google Search Central — JavaScript SEO basics. Método relacionado: consultar o guia prático.
Migração de URL
Cada endereço antigo deve levar ao conteúdo equivalente pertinente.
- URL, idioma, ligações de entrada
- Conservar, fundir ou remover; motivo
- Destino final, estados, canonical e alternativas
- Responsável, data, problema e resolução
Fonte primária: Google Search Central — Site moves with URL changes. Método relacionado: consultar o guia prático.
Robots.txt: rastreamento, indexação e evidências
As notas detalhadas desta edição estão disponíveis em inglês.
Read groups before selecting the longest rule
Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.
- Identify applicable groups before matching rules against the path.
- Use the most specific match; for equivalent rules the RFC recommends Allow.
- Do not infer deindexing or access protection from Disallow alone.
Review the twelve robots.txt cases →
References reviewed