Domande taggate «robots.txt»

Robots.txt è un file di testo utilizzato dai proprietari di siti Web per fornire istruzioni sui loro siti ai robot web. Fondamentalmente dice ai robot quali parti del sito sono aperte e quali parti sono chiuse. Questo si chiama il protocollo di esclusione dei robot.

Come impedire che determinati URL vengano indicizzati

Quando scrivo site:example.com(usando ovviamente il mio dominio), visualizzo diversi errori di collegamento visualizzati nell'elenco. In genere, sono nella forma:/some/fixed/path/admin/unblockUser/11 Sto pensando di aggiungere la seguente riga al mio robots.txtfile: Disallow: /some/fixed/path/admin/*

8 seo google robots.txt google-index noindex

Il formato di fine riga di robots.txt è importante?

Domanda semplice: devo assicurarmi di usare le terminazioni di linea Unix per il mio robots.txt o non importa?

7 robots.txt

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.