Pubblicato il

Google riconosce la direttiva crawl-delay?

Se state editando il file robots.txt del vostro sito, la direttiva crawl-delay potrebbe suscitare più di un dubbio, specialmente se rapportata a Google. In effetti, specificare nel suddetto file una cosa tipo:

crawl-delay: 10

significa imporre che il crawler debba aspettare 10 secondi tra una scansione (una crawl action, cioè un’azione di scansione che potrebbe anche riguardare una parte del sito) e la successiva. In alcuni casi, nel tool della Search Console dedicato all’analisi del robots.txt, potrebbe apparire una segnalazione di errore tipo:

crawl-delay ruled ignored

ovvero direttiva ignorata o non supportata da Google, nello specifico, per le ragioni seguenti.

Google tara la propria velocità di scansione in automatico al fine di non appensantire la velocità di caricamento del vostro sito, per cui non è affatto necessario specificare questa direttiva (che invece potrebbe essere utile per altri motori di ricerca). Se un criterio di schedulazione statica del crawler – statica nel senso di basata su un intervallo predefinito di secondi – poteva essere valido fino a qualche anno fa, infatti, sappiamo che i server moderni sono perfettamente in grado di gestire richieste multiple contemporaneamente ad altissima velocità, per cui un limite del genere per Google non ha alcun senso. Si può pensare quindi di rimuovere completamente la direttiva dal file robots.txt del proprio sito, limitandosi a farne uso per impedire al crawler di effettuare scansioni di specifiche, eventuali sottodirectory del proprio sito.

Pubblicità

Ti serve un articolo scritto bene? Richiedimelo ora! SEO Copywriting professionale

Pubblicità

Hosting WordPress? Nessun problema, c'è SiteGround

La spiegazione ufficiale è nel video successivo, direttamente da John Mueller di Google.

LEGGI ANCHE:   Quali garanzie può darti la SEO?

Originally posted 2017-12-28 21:20:10.

Ti potrebbero interessare

url limitato da robots.txt: che cosa fare In alcuni casi potrebbe presentarsi la notifica di errore "url limitato da robots.txt", specificatamente nell'ambito della Search Console di Google (l...
Siti di scarsa qualità in prima pagina, come rosic... Motivo di angoscia e terrore per moltissimi addetti ai lavori, vedere risultati di ricerca con siti molto vecchi, scadenti e soprattutto irremovibili ...
Perchè Google non si fida del tuo sito Quando si lancia un nuovo sito sul web e ci si aspetta di posizionarsi subito su Google o Bing, la delusione potrebbe essere dietro l'angolo. Quello c...