Non mi piace il fatto che vedo molti errori 404 in access.log del mio server web. Ricevo questi errori perché i crawler provano ad aprire un file robots.txt , ma non sono riuscito a trovarne. Quindi voglio inserire un semplice file robots.txt che impedirà la visualizzazione degli errori 404 nel mio file di registro.
Qual è un file robots.txt minimo valido che consentirà la scansione di tutto il sito?
Risposte:
Come indicato qui , crea un file di testo chiamato robots.txt nella directory di livello superiore del tuo server web. Puoi lasciarlo vuoto o aggiungere:
User-agent: *
Disallow:
Se vuoi che i robot eseguano la scansione di tutto . In caso contrario, vedere il link sopra per ulteriori esempi.
Il minimo indispensabile robots.txtè un file completamente vuoto.
Qualsiasi altra direttiva "nulla" come una vuota Disallowo Allow: *non è solo inutile perché non attiva, ma aggiunge complessità non necessaria.
Se non vuoi che il file sia completamente vuoto - o vuoi renderlo più leggibile dall'uomo - aggiungi semplicemente un commento che inizia con il #personaggio, come # blank file allows all. I crawler ignorano le linee che iniziano con #.
Direi questo;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Consentirà a Google di eseguire la scansione di tutto, ma non consentirà a Google di eseguire la scansione del pannello di amministrazione. Qual è la situazione ideale per te.