Ho aggiunto un file robots.txt a uno dei miei siti una settimana fa, il che avrebbe dovuto impedire a Googlebot di tentare di recuperare determinati URL. Tuttavia, questo fine settimana vedo Googlebot caricare quegli URL esatti.
Google memorizza nella cache robots.txt e, in tal caso, dovrebbe?
Risposte:
Consiglio vivamente di registrare il tuo sito con Google Search Console (precedentemente Strumenti per i Webmaster di Google) . C'è una sezione di accesso del crawler nella configurazione del sito che ti dirà quando il tuo robots.txt è stato scaricato l'ultima volta. Lo strumento fornisce anche molti dettagli su come i crawler vedono il tuo sito, cosa è bloccato o non funziona e dove stai comparendo nelle query su Google.
Da quello che posso dire, Google scarica spesso robots.txt . Il sito di Google Search Console ti consentirà inoltre di rimuovere in modo specifico gli URL dall'indice, in modo da poter rimuovere quelli che stai bloccando.
Perseverare. Sono passato da robots.txt a meta noindex, nofollow. Per far funzionare il meta gli indirizzi bloccati in robots.txt dovevano essere prima sbloccati.
L'ho fatto brutalmente cancellando del tutto il robots.txt (e cancellandolo nel webmaster di Google).
Il processo di rimozione di robots.txt come mostrato nello strumento per i webmaster (numero di pagine bloccate) ha richiesto 10 settimane per essere completato, di cui la maggior parte è stata rimossa da google solo nelle ultime 2 settimane.
Sì, Google ovviamente memorizzerà nella cache robots.txt fino a un certo punto: non lo scaricherà ogni volta che vorrà guardare una pagina. Per quanto tempo lo memorizza nella cache, non lo so. Tuttavia, se hai un set di intestazioni Expires lungo, Googlebot potrebbe lasciarlo molto più a lungo per controllare il file.
Un altro problema potrebbe essere un file non configurato correttamente. Negli Strumenti per i Webmaster suggeriti da Danivovich, c'è un controllo robots.txt . Ti dirà quali tipi di pagine sono bloccate e quali vanno bene.
La documentazione di Google afferma che di solito memorizzeranno nella cache robots.txt per un giorno, ma potrebbero usarlo più a lungo se ottengono errori quando provano ad aggiornarlo.
Una richiesta robots.txt viene generalmente memorizzata nella cache per un massimo di un giorno, ma può essere memorizzata nella cache più a lungo in situazioni in cui non è possibile aggiornare la versione memorizzata nella cache (ad esempio, a causa di timeout o errori 5xx). La risposta memorizzata nella cache può essere condivisa da diversi crawler. Google può aumentare o ridurre la durata della cache in base alle intestazioni HTTP di controllo della cache max-age.
Sì. Dicono che in genere lo aggiornano una volta al giorno, ma alcuni hanno suggerito di poterlo controllare anche dopo un certo numero di hit di pagina (100?), Quindi i siti più occupati vengono controllati più spesso.
Vedi /webmasters//a/29946 e il video che @DisgruntedGoat ha condiviso sopra http://youtube.com/watch?v=I2giR-WKUfY .
Da quello che posso vedere nella cache accessibile dell'utente che fanno, quello che devi fare è digitare l'URL del tuo file robots.txt in una ricerca di Google e quindi fare clic sulla piccola freccia verde a discesa e fare clic su "cache" (vedi immagine sotto) questo ti darà l'ultima versione di quella pagina dai server di Google.
Puoi richiederne la rimozione utilizzando lo strumento di rimozione URL di Google .