Domande taggate «robots.txt»

3
È possibile utilizzare un URL sitemap relativo in un file robots.txt?
In robots.txt posso scrivere il seguente URL relativo per il file Sitemap? sitemap: /sitemap.ashx O devo usare l'URL completo (assoluto) per il file Sitemap, come: sitemap: http://subdomain.domain.com/sitemap.ashx Perché mi chiedo: Possiedo un nuovo servizio di blog, www.domain.com, che consente agli utenti di blog su accountname.domain.com. Uso i caratteri jolly, quindi …
191 seo  sitemap  robots.txt 
4
Come configurare robots.txt per consentire tutto?
Il mio robots.txtin Strumenti per i Webmaster di Google mostra i seguenti valori: User-agent: * Allow: / Cosa significa? Non ne ho abbastanza conoscenza, quindi cerco il tuo aiuto. Voglio consentire a tutti i robot di eseguire la scansione del mio sito web, è questa la configurazione giusta?
116 robots.txt 
10
File statici in Flask: robot.txt, sitemap.xml (mod_wsgi)
Esiste una soluzione intelligente per archiviare file statici nella directory principale dell'applicazione di Flask. robots.txt e sitemap.xml dovrebbero essere trovati in /, quindi la mia idea era di creare percorsi per loro: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Deve esserci qualcosa di più conveniente …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.