Combina user-agent in robots.txt

Gli user-agent possono essere elencati insieme, seguiti dalle loro regole comuni come in un robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— davidcondrey
fonte

C'è un motivo per cui non usi user-agent: *seguito dal non consentire? L'elenco degli user-agent "consentiti" è più lungo dell'elenco che si desidera non consentire?

— Mike Hudson,

Vedi anche su SO: è possibile elencare più user-agent in una riga?

— unor

Sì. Supponendo che i nomi dei tuoi agenti siano specificati correttamente, sembra che dovrebbe funzionare. Ecco una risorsa se vuoi leggere di più. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— closetnoc
fonte

La specifica originale di robots.txt concorda: "Se è presente più di un campo User-agent, il record descrive una politica di accesso identica per più di un robot."

— Ilmari Karonen,