Domande taggate «robots.txt»

Robots.txt è un file di testo utilizzato dai proprietari di siti Web per fornire istruzioni sui loro siti ai robot web. Fondamentalmente dice ai robot quali parti del sito sono aperte e quali parti sono chiuse. Questo si chiama il protocollo di esclusione dei robot.

3
Google Preview obbedisce a Robots.txt?
Perché sembra proprio così. Per i miei siti non consentiamo la directory delle immagini e le anteprime sono tutte immagini mancanti che rendono il sito instabile. È questo il caso e c'è un modo per consentire solo al bot di anteprima di accedere alle immagini usando robots.txt? EDIT: sembra che …
3
Un indice Sitemap può contenere altri indici Sitemap?
Ho un sito web bilingue con un indice Sitemap per ogni lingua che collega a diverse Sitemap diverse (una per i video, una per i contenuti statici e una per gli articoli). Vorrei introdurre un'altra Sitemap che collega gli indici Sitemap, in modo da poter collegare quella Sitemap nel root …
1
Come funziona "Noindex:" in robots.txt?
Ho incontrato questo articolo nelle mie notizie SEO oggi. Sembra implicare che è possibile utilizzare le Noindex:direttive oltre alle Disallow:direttive standard in robots.txt . Disallow: /page-one.html Noindex: /page-two.html Sembra che impedirebbe ai motori di ricerca di eseguire la scansione della pagina uno e impedire loro di indicizzare la pagina due. …
2
Consenti solo ai bot di Google e Bing di eseguire la scansione di un sito
Sto usando il seguente file robots.txt per un sito: L'obiettivo è consentire a googlebot e bingbot di accedere al sito tranne la pagina /bedven/bedrijf/*e impedire a tutti gli altri bot di eseguire la scansione del sito. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: google Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bingbot …
1
Combina user-agent in robots.txt
Gli user-agent possono essere elencati insieme, seguiti dalle loro regole comuni come in un robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/
10
Devo impedire ai robot di uccidere il mio server web
Sto riscontrando problemi di bot EXTREME su alcuni dei miei siti Web nel mio account di hosting. I bot utilizzano oltre il 98% delle risorse della mia CPU e il 99% della mia larghezza di banda per l'intero account di hosting. Questi bot generano oltre 1 GB di traffico all'ora …
3
Quando sposti un sito tramite un reindirizzamento 301, dovresti configurare un robots.txt che impedisce ai robot di eseguire la scansione del vecchio indirizzo?
Un sito su cui sto lavorando ha spostato un sottodominio in un altro sottodominio tramite un reindirizzamento 301. Tuttavia, quando si controlla robots.txt del vecchio sottodominio, ha un robots.txt che non consente ai crawler web dei motori di ricerca di eseguirne la scansione. È questa la mossa giusta? Credo di …
5
Dovremmo modificare il nostro Joomla robots.txt dopo l'annuncio di Google sulla scansione di CSS e JavaScript?
Ho trovato un annuncio da Google: http://googlewebmastercentral.blogspot.in/2014/10/updating-our-technical-webmaster.html Afferma: Per il rendering e l'indicizzazione ottimali, la nostra nuova linea guida specifica che è necessario consentire a Googlebot l'accesso ai file JavaScript, CSS e di immagine utilizzati dalle pagine. Ciò ti fornisce il rendering e l'indicizzazione ottimali per il tuo sito. Non …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.