Domande taggate «robots.txt»

Robots.txt è un file di testo utilizzato dai proprietari di siti Web per fornire istruzioni sui loro siti ai robot web. Fondamentalmente dice ai robot quali parti del sito sono aperte e quali parti sono chiuse. Questo si chiama il protocollo di esclusione dei robot.

4
File che dovrei avere su ogni sito web
Vorrei avere un elenco di file che dovrebbero esistere su ogni sito web. L'idea è di compiacere la maggior parte dei browser e dei robot e scendere con il numero di 404 messaggi nei registri. Finora ho i seguenti file: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png Ci sono altri …
2
Come posso impedire un'intera directory con robots.txt?
Ho due siti su cui sto attualmente lavorando, un carrello e un altro acquirente. Entrambi hanno lo stesso nome di dominio, quindi ad esempio http://example.com/first_url http://example.com/second_url Entrambi questi URL hanno tonnellate di pagine sottostanti http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 Come posso impedire l'URL principale /first_urle /second_urlanche tutte le sottopagine …
19 seo  robots.txt 
7
Google memorizza nella cache robots.txt?
Ho aggiunto un file robots.txt a uno dei miei siti una settimana fa, il che avrebbe dovuto impedire a Googlebot di tentare di recuperare determinati URL. Tuttavia, questo fine settimana vedo Googlebot caricare quegli URL esatti. Google memorizza nella cache robots.txt e, in tal caso, dovrebbe?
3
Robots.txt può trovarsi nella sottodirectory di un server?
Ho una sottodirectory che vorrei nascondere ai crawler web dei motori di ricerca. Un modo per farlo è utilizzare un robots.txtnella directory principale del server (il modo standard). Tuttavia, chiunque conosca l'URL del sito Web e abbia alcune conoscenze di base sul Web può accedere ai contenuti di robots.txt e …
4
Il sito è stato violato, è necessario rimuovere tutti gli URL che iniziano con + da Google, utilizzare robots.txt?
La prego di farmi sapere come bloccare tali URL da robots.txtGooglebots per interrompere l'indicizzazione? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Il mio sito Web è stato violato, che ora è stato recuperato, ma l'hacker ha indicizzato 5000 URL in Google e ora ricevo l'errore 404 su collegamenti generati casualmente, soprattutto a partire /+dal collegamento sopra. …
3
Che cos'è un file robots.txt minimo valido?
Non mi piace il fatto che vedo molti errori 404 in access.log del mio server web. Ricevo questi errori perché i crawler provano ad aprire un file robots.txt , ma non sono riuscito a trovarne. Quindi voglio inserire un semplice file robots.txt che impedirà la visualizzazione degli errori 404 nel …
14 robots.txt 
3
Robots.txt: CSS consente o non consente
CSS e template sono ammessi in robots.txt ? Dovrebbe causare problemi? In Joomla, CSS e template non sono consentiti in robots.txt . Aiutatemi a trovare una soluzione per non consentire o meno ai robot di utilizzare CSS, template, ecc. Per i miei siti Web in arrivo.
12 css  robots.txt 
2
Strumenti per i Webmaster di Google mi informa che i robot stanno bloccando l'accesso alla Sitemap
Questo è il mio robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Ma Strumenti per i Webmaster di Google mi dice che i robot stanno bloccando l'accesso alla Sitemap: Si è verificato un errore durante il tentativo di accedere alla tua Sitemap. Assicurati che la tua Sitemap segua …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.