Pubblicato il

Google riconosce la direttiva crawl-delay?

Se state editando il file robots.txt del vostro sito, la direttiva crawl-delay potrebbe suscitare più di un dubbio, specialmente se rapportata a Google. In effetti, specificare nel suddetto file una cosa tipo:

crawl-delay: 10

significa imporre che il crawler debba aspettare 10 secondi tra una scansione (una crawl action, cioè un’azione di scansione che potrebbe anche riguardare una parte del sito) e la successiva. In alcuni casi, nel tool della Search Console dedicato all’analisi del robots.txt, potrebbe apparire una segnalazione di errore tipo:

crawl-delay ruled ignored

ovvero direttiva ignorata o non supportata da Google, nello specifico, per le ragioni seguenti.

Google tara la propria velocità di scansione in automatico al fine di non appensantire la velocità di caricamento del vostro sito, per cui non è affatto necessario specificare questa direttiva (che invece potrebbe essere utile per altri motori di ricerca). Se un criterio di schedulazione statica del crawler – statica nel senso di basata su un intervallo predefinito di secondi – poteva essere valido fino a qualche anno fa, infatti, sappiamo che i server moderni sono perfettamente in grado di gestire richieste multiple contemporaneamente ad altissima velocità, per cui un limite del genere per Google non ha alcun senso. Si può pensare quindi di rimuovere completamente la direttiva dal file robots.txt del proprio sito, limitandosi a farne uso per impedire al crawler di effettuare scansioni di specifiche, eventuali sottodirectory del proprio sito.

LEGGI ANCHE:   10 motivi per non dire il nome della tua azienda in un annuncio di lavoro

La spiegazione ufficiale è nel video successivo, direttamente da John Mueller di Google.

Pubblicità

Hosting WordPress? Nessun problema, c'è Keliweb

Originally posted 2017-12-28 21:20:10.

Ti potrebbero interessare