Dove si trova il file robots.txt per un'installazione multisito di WordPress?

9

Google Webmaster Tools può vederlo, ma non riesco a trovarlo. Qualche idea su come viene generato o dove si trova la struttura del file? Non vedo il file nella mia radice. Il mio sito Web è http://mikewills.me e l'URL del file robots.txt è http://mikewills.me/robots.txt .

Alla fine, Google non sta indicizzando il mio sito e sto cercando di capire come modificare il file robots.txt in modo che l'indicizzazione sia consentita. Ho modificato l'opzione di privacy per consentire l'indicizzazione, ma questo non ha aggiornato il file robots.txt.

multisite

— Mike Wills
fonte

Link al sito? È improbabile che robots.txt abbia qualcosa a che fare con WP ...

— Rarst

11

È generato dinamicamente dalla funzione do_robots(), che ha sia action ( do_robotstxt) che filter ( robots_txt). Se crei un robots.txtfile nella tua radice di WordPress, verrà (probabilmente) servito quando /robots.txtrichiesto, altrimenti l'elaborazione ricadrà su WordPress.

Il file corrente è simile al seguente:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Le prime due impostazioni sono appropriate per un blog indicizzabile. Quindi, potresti semplicemente aspettare Google a questo punto. Forse devi richiedere un riesame del tuo sito .

— Annika Backstrom
fonte

Grazie per l'informazione. Ero sotto questo presupposto. Avevo paura di vedere il Disallow. Quindi va bene allora?

— Mike Wills,

2

@ Mike: Sì, va bene. Quello che dici ora è: "Hey robot la cui User-agentcorrispondenza *(quindi tutti i robot), l'elenco delle pagine a cui non puoi accedere è [empty]". Ciò significa che possono accedere a tutte le pagine.

— Jan Fabry,

L'aggiunta di robots.txt alla radice non sembra funzionare, serve comunque quella generata da WordPress. Non è possibile aggiungere o modificare robots.txt senza installare un plug-in?

— Nick,

3

robots.txt è creato dinamicamente. Non esiste alcun file robots.txt. Installa un plugin robot.txt risolverà il tuo problema. Spero che sia di aiuto

— user1167
fonte