Uso la seguente riga <head>dei miei siti da anni:
<meta name="revisit-after" content="3 days" />
Recentemente ho scoperto che non è uno dei meta tag che Google capisce, che presumo significhi che non ha senso includerlo e che non va affatto bene da anni.
Con quale frequenza i motori di ricerca eseguono la scansione di un sito Web per impostazione predefinita e quali sono i modi affidabili per aumentare o ridurre tale frequenza?
Risposte:
La frequenza di scansione per il tuo sito determina il tempo utilizzato da Googlebot per eseguire la scansione del tuo sito ad ogni visita. Il nostro obiettivo è di eseguire la scansione completa del tuo sito (in modo che le tue pagine possano essere indicizzate e restituite nei risultati di ricerca!) Senza creare un notevole impatto sulla larghezza di banda del tuo server. Mentre la maggior parte dei webmaster sta bene utilizzando l'impostazione di ricerca per indicizzazione predefinita (ovvero non sono necessarie modifiche, ne parleremo più avanti), alcuni webmaster potrebbero avere esigenze più specifiche.
Googlebot utilizza sofisticati algoritmi che determinano quanto scansionare ogni sito che visita. Per la stragrande maggioranza dei siti, probabilmente è meglio scegliere l'opzione "Consenti a Google di determinare la mia velocità di scansione", che è l'impostazione predefinita. Tuttavia, se sei un utente avanzato o se stai riscontrando problemi di larghezza di banda con il tuo server, puoi personalizzare la tua velocità di scansione alla velocità più ottimale per i tuoi server web. L'opzione di frequenza di scansione personalizzata ti consente di fornire a Googlebot informazioni sul numero massimo di richieste al secondo e sul numero di secondi tra le richieste che ritieni migliori per il tuo ambiente.
Googlebot determina l'intervallo dei valori della frequenza di scansione che avrai disponibile in Strumenti per i Webmaster. Questo si basa sulla nostra comprensione delle capacità del tuo server. Questo intervallo può variare da un sito all'altro e nel tempo in base a diversi fattori. L'impostazione della velocità di scansione su un valore inferiore al valore predefinito può influire sulla copertura e sull'aggiornamento del tuo sito nei risultati di ricerca di Google. Tuttavia, impostandolo su un valore superiore a quello predefinito non migliorerà la copertura o il posizionamento. Se imposti una frequenza di scansione personalizzata, la nuova tariffa sarà in vigore per 90 giorni, dopodiché verrà reimpostata sul valore consigliato di Google.
Puoi utilizzare questa impostazione solo per siti di livello radice e siti non ospitati su un dominio di grandi dimensioni come blogspot.com (abbiamo assegnato impostazioni speciali per loro). Per controllare l'impostazione della velocità di scansione, accedi a Strumenti per i Webmaster e visita la scheda Impostazioni. Se hai ulteriori domande, visita il Centro assistenza per i webmaster per ulteriori informazioni su come Google esegue la scansione del tuo sito o pubblica le tue domande nel Forum di assistenza per i webmaster.
A parte ciò, probabilmente avresti bisogno di creare il tuo sistema di filtraggio che annusa i loro agenti utente e consente o nega i bot dei motori di ricerca in base al loro agente utente. Ma ciò influenzerebbe solo diminuendo la loro frequenza.
Per rispondere alla seconda parte della tua domanda, puoi dirlo a Google utilizzando Strumenti per i Webmaster
Per modificare la velocità di scansione:
Nella home page di Strumenti per i Webmaster, fai clic sul sito desiderato.
In Configurazione del sito, fai clic su Impostazioni.
Nella sezione Frequenza di scansione, seleziona l'opzione desiderata.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
Nelle FAQ di Bing fa riferimento a questo post che consiglia di impostare Crawl-Delay: Xdove x è il numero di secondi di attesa tra ogni richiesta.
Naturalmente le sitemap indicano la frequenza con cui le pagine cambiano.