Come posso impedire un'intera directory con robots.txt?

19

Ho due siti su cui sto attualmente lavorando, un carrello e un altro acquirente. Entrambi hanno lo stesso nome di dominio, quindi ad esempio

http://example.com/first_url 
http://example.com/second_url

Entrambi questi URL hanno tonnellate di pagine sottostanti

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Come posso impedire l'URL principale /first_urle /second_urlanche tutte le sottopagine e le sottodirectory? Stavo pensando a qualcosa del genere, ma non so se funziona o meno e se è stata la sintassi corretta

Disallow: /first_url/*/
Disallow: /second_url/*/

seo robots.txt

— Stephen Ostermiller
fonte

1

Penso che la tua sintassi sia giusta, ma non sono sicuro dell'extra /

26

Non è necessaria la barra finale per bloccare quelle directory. Questo funzionerà:

Disallow: /first_url/*
Disallow: /second_url/*

Questa pagina di aiuto di Google lo copre abbastanza bene.

— John Conde
fonte

7

Puoi semplicemente fare "Disallow: / first_url". Il carattere jolly finale viene ignorato. Secondo developers.google.com/webmasters/control-crawl-index/docs/…

— Evgenii,

È necessario Disallow: / url / * per abbinare elementi come example.com/url/test?test=1

— Gareth Daine,

-1

Puoi usarlo come predefinito robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

La stella consentirà di non consentire tutto ciò che rientra in quella categoria. Puoi persino impedire una cosa specifica in quella categoria digitando quell'URL specifico.

— SAF
fonte

4

Questo non è diverso dalla risposta accettata se non manca la barra iniziale. Non consentire le regole in robots.txt dovrebbe iniziare con una barra. Ecco come sono tutti gli esempi nella documentazione

— Stephen Ostermiller