Applicare le regole agli URL corretti
Il gruppo generale dell’esempio vieta /internal-search/ ma consente /internal-search/help/. I percorsi sono illustrativi. Sitemap indica un indirizzo da scoprire, non ordina l’indicizzazione. Verifica se al crawler si applica un gruppo più specifico.
User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xmlScegliere il controllo adatto
- Le risorse private richiedono autenticazione e autorizzazione sul server. Citarle in robots.txt non le protegge.
- Per escludere una pagina pubblica dall’indice, rendi leggibile noindex. Bloccare la scansione può impedirne la lettura.
- Riduci le scansioni inutili con regole mirate senza bloccare le risorse necessarie al rendering.
Controllare la risposta effettiva
Verifica il file nella radice di protocollo, host e porta corretti, poi URL esatti, maiuscole e gruppi. Consulta il rapporto robots.txt e Controllo URL in Search Console. Un effetto visibile può richiedere una nuova scansione.
Fonti primarie
- Google Search Central — Introduction to robots.txt [EN]
- Google — Robots.txt specification [EN]
- Google Search Central — noindex [EN]
Testare il percorso di accesso prima di modificare il file robots.txt.
Una regola nel file robots.txt regola la scansione, non garantisce la rimozione dall'indice. Bloccare una pagina che deve essere caricata affinché una direttiva noindex possa essere letta può creare un segnale contraddittorio.
- Testare l'URL esatto e il gruppo di crawler applicabile.
- Confrontare le regole robots, la risposta HTTP e le direttive di pagina.
- Riprodurre la scoperta tramite link HTML dopo ogni modifica.
Fonte primaria: Google Search Central — Crawling and indexing. Metodo correlato: consultare la guida pratica.
Contenuti renderizzati con JavaScript
L'HTML ricevuto può differire dalla pagina mostrata nel browser.
- Salva HTML ricevuto e DOM dopo JavaScript per lo stesso URL. Confronta titolo, risposta principale, link href e canonical.
- Simula API lenta o fallita senza accesso autenticato. Caricamento perpetuo o pagina vuota con 200 richiedono un trattamento esplicito.
- Controlla se robots blocca risorse necessarie e se un URL profondo si apre direttamente. Esamina HTML renderizzato con gli strumenti di ispezione disponibili.
Caso di accettazione riproducibile
Esempio fittizio: questi dati non descrivono clienti o risultati osservati.
Vedi dati del caso
{
"response_status": 200,
"html_link": "<span onclick=\"navigate()\">Item</span>",
"rendered_text": true,
"script_failure_test": true
}Decisione attesa
Uno span cliccabile non sostituisce un link href. Verifica anche senza script.
Procedura di verifica
- Acquisisci HTML, contenuto reso e link href.
- Disattiva script e prova navigazione essenziale.
- Conserva canonical e robots dei due stati.
Un 200 prova che il contenuto è indicizzabile?
No. Verifica contenuto, controlli e risorse; lo stato non garantisce indicizzazione.
Fonte primaria: Google Search Central — JavaScript SEO basics. Metodo correlato: consultare la guida pratica.
Migrazione degli URL
Ogni vecchio indirizzo conduce al contenuto equivalente pertinente.
- URL, lingua, collegamenti in ingresso
- Conservare, unire o ritirare; motivo
- Destinazione finale, stati, canonical e alternative
- Responsabile, data, errore e risoluzione
Fonte primaria: Google Search Central — Site moves with URL changes. Metodo correlato: consultare la guida pratica.
Robots.txt: scansione, indicizzazione e prove
Le note dettagliate di questa edizione sono disponibili in inglese.
Read groups before selecting the longest rule
Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.
- Identify applicable groups before matching rules against the path.
- Use the most specific match; for equivalent rules the RFC recommends Allow.
- Do not infer deindexing or access protection from Disallow alone.
Review the twelve robots.txt cases →
References reviewed