Come posso incoraggiare Google a leggere il nuovo file robots.txt?

22

Ho appena aggiornato il mio file robots.txt su un nuovo sito; Google Strumenti per i Webmaster segnala che ho letto il mio robots.txt 10 minuti prima del mio ultimo aggiornamento.

Posso incoraggiare Google a rileggere il mio robots.txt al più presto?

AGGIORNAMENTO: in Configurazione sito | Accesso del crawler | Test robots.txt:

L'accesso alla Home Page mostra:

Googlebot è bloccato da http://my.example.com/

Cordiali saluti: Il robots.txt che l'ultima lettura di Google è simile al seguente:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

Mi sono sparato ai piedi o alla fine leggerà: http: ///robots.txt (come ha fatto l'ultima volta che l'ha letto)?

Qualche idea su cosa devo fare?

google robots.txt google-webmaster-tools

— qxotk
fonte

Cordiali saluti: Il sito è nuovo e questo messaggio appare in Impostazioni | Frequenza di scansione: "Al tuo sito sono state assegnate impostazioni speciali per la frequenza di scansione. Non potrai modificare la frequenza di scansione."

— qxotk,

Cordiali saluti: ho trovato un post nei gruppi di Google che diceva che Google leggerà robots.txt "almeno una volta al giorno" - qualcuno può confermarlo? [la pubblicazione di gruppi di google è qui: groups.google.com/group/google_webmaster_help-indexing/… ]

— qxotk,

Cordiali saluti: 1 giorno è passato e google non ha ancora letto il mio robots.txt aggiornato.

— qxotk,

Stesso problema qui, questa non è una "caratteristica" ...

— Mate64

25

Nel caso in cui qualcun altro incontri questo problema, c'è un modo per forzare google-bot a scaricare di nuovo il file robots.txt.

Vai su Salute -> Scarica come Google [1] e scarica /robots.txt

Ciò scaricherà di nuovo il file e google analizzerà nuovamente il file.

[1] nella precedente interfaccia utente di Google era "Diagnostica -> Visualizza come GoogleBot".

— opaco
fonte

11

Sfortunatamente questo non funzionerà se il tuo robots.txt è impostato su Disallow: /. Invece il recupero riporta "Negato da robots.txt": /.

— Studgeek

3

La prossima volta aggiungi questa riga. Consenti: /robots.txt

— jrosell,

Non riesco a trovare "Diagnostica", forse l'interfaccia utente è cambiata?

— David Riccitelli il

2

Ok, ora è Salute> Scarica come Google.

— David Riccitelli il

Non funziona per me quando provo a recuperare robots.txt. ERRORE: "Al momento non è possibile eseguire la scansione della pagina perché è stata bloccata dal file robots.txt più recente scaricato da Googlebot. Si noti che se il file robots.txt è stato aggiornato di recente, potrebbero essere necessari fino a due giorni prima che venga aggiornato. Puoi trovare ulteriori informazioni nell'articolo del Centro assistenza su robots.txt. "

— Indrek,

4

So che è molto vecchio, ma ... Se hai caricato il file robots.txt errato (non consentendo tutte le pagine), puoi provare quanto segue:

prima correggi il tuo robots.txt per consentire le pagine corrette, quindi
carica un sitemap.xml con le tue pagine

mentre Google prova a leggere la Sitemap XML, controllerà nuovamente robots.txt, costringendo Google a rileggere il tuo robots.txt.

— Hussam
fonte

Questo non ha funzionato per me. Dice che la mappa del sito è stata bloccata da robots.txt

— James,

1

OK. Ecco cosa ho fatto e nel giro di poche ore Google ha riletto i miei file robots.txt.

Abbiamo 2 siti per ogni 1 sito che gestiamo. Chiamiamoli il sito canonico (www.mysite.com) e il sito di dominio nudo (mysite.com).

Abbiamo impostato i nostri siti in modo che mysite.com restituisca sempre un reindirizzamento 301 a www.mysite.com.

Dopo aver impostato entrambi i siti negli strumenti per i Webmaster di Google, gli ho detto che www.mysite.com è il sito canonico, subito dopo ha letto il file robots.txt sul sito canonico.

Non so davvero perché, ma è quello che è successo.

— qxotk
fonte

3

So che è vecchio, ma accettare la tua risposta è legittimo al 100%

— Mark Henderson

0

Ridurre l'intervallo di scansione di Google per alcuni giorni.

Inoltre, ho visto il pulsante per verificare il tuo robots.txt, questo potrebbe costringerlo a google, ma non ne sono sicuro.

— BarsMonster
fonte

Può essere più preciso? Vedo: Configurazione del sito | Accesso del crawler | Prova robots.txt, ma verifica il testo che incolli nella casella, non il tuo file live robots.txt - inoltre, è qui che mi dice quando è stato scaricato l'ultima volta. Dov'è il pulsante "verifica" di cui parli?

— qxotk,