Robots.txt: distinguir rastreo, indexación y acceso

Publicado · Actualizado · Ser encontrado en línea · 3 min de lectura · Por Cyber Intelligence Embassy

En resumen

Robots.txt comunica reglas a los rastreadores que las respetan. No restringe el acceso humano ni garantiza retirar una URL de Google.

Banco de análisis forense digital vacío con dispositivos y herramientas Ilustración · escena ficticia
En este artículo

Aplicar las reglas a la URL correcta

El grupo general del ejemplo bloquea /internal-search/ y permite /internal-search/help/. Son rutas ilustrativas. Sitemap indica una dirección para descubrir contenido, no una orden de indexación. Comprueba si al robot le corresponde un grupo más específico.

User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xml

Elegir el control adecuado

  • Los recursos privados necesitan autenticación y autorización en el servidor. Mencionarlos en robots.txt no los protege.
  • Para excluir una página pública del índice, proporciona un noindex que el robot pueda leer. Bloquear el rastreo puede impedir esa lectura.
  • Para reducir rastreos innecesarios, limita las rutas adecuadas sin bloquear los recursos necesarios para renderizar.

Comprobar la respuesta real

Revisa el archivo en la raíz del protocolo, host y puerto correctos. Comprueba URL exacta, mayúsculas y grupos. Consulta el informe robots.txt y la inspección de URL de Search Console. El efecto visible puede requerir otro rastreo.

Fuentes primarias

Probar la ruta de acceso antes de modificar robots.txt.

Una regla de robots.txt rige el rastreo, no garantiza la eliminación del índice. Bloquear una página que debe cargarse para que se pueda leer una directiva noindex puede generar una señal contradictoria.

  • Pruebe la URL exacta y el grupo de rastreadores aplicable.
  • Compare las reglas de robots, la respuesta HTTP y las directivas de página.
  • Reproduzca el descubrimiento a través de enlaces HTML después de cada cambio.

Fuente primaria: Google Search Central — Crawling and indexing. Método relacionado: consultar la guía práctica.

Contenido renderizado con JavaScript

El HTML recibido puede diferir de lo que muestra el navegador.

  • Guarda el HTML recibido y el DOM tras ejecutar JavaScript para la misma URL. Compara título, respuesta principal, enlaces href y canonical.
  • Simula una API lenta o fallida sin sesión iniciada. Un estado de carga perpetuo o una página vacía con 200 necesita tratamiento explícito.
  • Verifica que robots no bloquea los recursos necesarios y que una URL profunda funciona al abrirla directamente. Revisa el HTML renderizado con las herramientas de inspección disponibles.

Caso de aceptación reproducible

Ejemplo ficticio: estos datos no describen clientes ni resultados observados.

Ver datos del caso
{
    "response_status": 200,
    "html_link": "<span onclick=\"navigate()\">Item</span>",
    "rendered_text": true,
    "script_failure_test": true
}

Decisión esperada

Un span pulsable no sustituye un enlace href. Pruebe también sin scripts.

Procedimiento de verificación

  1. Capture HTML, contenido renderizado y enlaces href.
  2. Desactive scripts y pruebe navegación esencial.
  3. Conserve canonical y robots de ambos estados.

Google Search Central — JavaScript SEO basics

¿Un 200 demuestra que el contenido es indexable?

No. Comprueba contenido, controles de indexación y recursos; la respuesta no garantiza indexación.

Fuente primaria: Google Search Central — JavaScript SEO basics. Método relacionado: consultar la guía práctica.

Migración de URL

Cada dirección antigua debe conducir al contenido equivalente pertinente.

  • URL, idioma, enlaces de entrada
  • Conservar, fusionar o retirar; motivo
  • Destino final, estados, canonical y alternativas
  • Responsable, fecha, incidencia y resolución

Fuente primaria: Google Search Central — Site moves with URL changes. Método relacionado: consultar la guía práctica.

Robots.txt: rastreo, indexación y pruebas

Las notas detalladas de esta edición están disponibles en inglés.

Read groups before selecting the longest rule

Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.

  • Identify applicable groups before matching rules against the path.
  • Use the most specific match; for equivalent rules the RFC recommends Allow.
  • Do not infer deindexing or access protection from Disallow alone.

Review the twelve robots.txt cases →

References reviewed