Ho un sottodominio che non desidero elencare nei risultati di nessun motore di ricerca. Diciamo che ho:
http://www.example.comhttp://child.example.comCome posso nascondere tutti gli URL del child.example.comdominio che sono attualmente visualizzati nei risultati del motore di ricerca?
Risposte:
Nella radice della directory del sito Web del sottodominio, aggiungi un file chiamato robots.txt contenente:
User-agent: *
Disallow: /
Questo dirà ai web crawler di non indicizzare affatto il sito. Non devono obbedire, ma i principali lo faranno.
noindexall'indice e alle altre pagine del sottodominio
L'uso di un file robots.txt nel tuo sottodominio aiuterà (e Google obbedirà a questo), ma un altro passo che puoi fare è specificare con un account Google Webmasters che non vuoi che questo sottodominio venga indicizzato. Puoi anche utilizzare un meta tag in tutte le pagine del sottodominio:
<meta name="robots" content="noindex">
Se si tratta di un sito che si sta utilizzando solo per test interni, limitare la visibilità a una serie specifica di indirizzi IP nel file degli host virtuali nasconderebbe ulteriormente il sito.
metatag noindex in ogni pagina, puoi invece restituire X-Robots-Tagun'intestazione di risposta HTTP dal tuo server per il sottodominio specificato - questo devi farlo solo una volta.
Le soluzioni di Kenzo e Paul sono buone, puoi inserire meta-tag noindex nelle tue pagine web e aggiungere robots.txt per impedire ai robot.
Ma a mio avviso, la soluzione migliore è utilizzare l'autenticazione della password sul tuo sottodominio. Questa è l'unica soluzione di cui sei sicuro che i robot possano accedere e indicizzare il tuo sito web. Se usi Apache, puoi implementare htpasswd .
... attualmente visualizzato nei risultati SEO?
Le altre risposte riguardano più la prevenzione proattiva dell'indicizzazione di un (sotto) dominio (che è principalmente quello che stai ponendo nella domanda) piuttosto che la rimozione attiva delle tue pagine dai risultati della ricerca, che potrebbe essere più ciò che stai cercando, a giudicare da l' altra tua domanda .
Devi ancora bloccare il tuo sito in robots.txt e pubblicare un tag noindex meta (o X-Robots-Tagintestazione di risposta HTTP), come indicato nelle altre risposte, ma devi anche bloccare l'accesso alle tue pagine, restituendo un codice di stato 404 o 410.
Puoi leggere ulteriori informazioni al riguardo nella pagina della guida di Strumenti per i Webmaster di Google:
Requisiti per la rimozione di contenuti
Dopo aver installato tutti questi elementi, puoi utilizzare lo strumento Rimuovi URL in Strumenti per i Webmaster di Google. Tuttavia, questo vale solo per singoli URL, non per un intero sito, ma è un inizio. (Google afferma che l'utilizzo di robots.txt, noindex e la pubblicazione di un 404 sono i requisiti per utilizzare lo strumento di rimozione GWT.)
Tuttavia, se desideri comunque che gli utenti normali possano accedere al sito digitando l'URL, allora è un problema, poiché i tuoi contenuti non sono più disponibili. Potresti password, come suggerisce Zistoloen, tuttavia questo restituirà un 403 (proibito) per impostazione predefinita che dovrai sostituire per restituire un 404/410. Potresti nascondere i tuoi contenuti, restituendo un 410 a Googlebot e consentire a tutti gli altri di entrare - ma che dire delle persone che fanno clic sui risultati nelle SERP?
Ma se vuoi che Google rimuova i tuoi contenuti nel minor tempo possibile, devi rimuoverli da Internet "Google".