Domande taggate «robots.txt»

Come posso incoraggiare Google a leggere il nuovo file robots.txt?

Ho appena aggiornato il mio file robots.txt su un nuovo sito; Google Strumenti per i Webmaster segnala che ho letto il mio robots.txt 10 minuti prima del mio ultimo aggiornamento. Posso incoraggiare Google a rileggere il mio robots.txt al più presto? AGGIORNAMENTO: in Configurazione sito | Accesso del crawler | …

22 google robots.txt google-webmaster-tools

Quali robot e ragni dovrei bloccare in robots.txt?

In modo da: Aumenta la sicurezza del mio sito Web Ridurre i requisiti di larghezza di banda Impedisci la raccolta dell'indirizzo email

14 performance security robots.txt

Come impostare robots.txt a livello globale in nginx per tutti gli host virtuali

Sto cercando di impostare robots.txtper tutti gli host virtuali sotto il server http nginx. Sono stato in grado di farlo in Apache mettendo principalmente quanto segue httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Ho provato a fare qualcosa di simile con nginx aggiungendo le righe indicate di seguito …

13 nginx robots.txt

Come creare il file robots.txt per tutti i domini sul server Apache

Abbiamo una configurazione del server Web di sviluppo Apache XAMPP con host virtuali e vogliamo impedire ai serp di eseguire la scansione di tutti i nostri siti. Questo viene fatto facilmente con un file robots.txt. Tuttavia, preferiremmo non includere un robots.txt di non consentire in ogni vhost e quindi rimuoverlo …

10 apache-2.2 php robots.txt

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.