È possibile utilizzare un URL sitemap relativo in un file robots.txt?


191

In robots.txt posso scrivere il seguente URL relativo per il file Sitemap?

sitemap: /sitemap.ashx

O devo usare l'URL completo (assoluto) per il file Sitemap, come:

sitemap: http://subdomain.domain.com/sitemap.ashx

Perché mi chiedo:

  • Possiedo un nuovo servizio di blog, www.domain.com, che consente agli utenti di blog su accountname.domain.com.
  • Uso i caratteri jolly, quindi tutti i sottodomini (account) puntano a: "blog.domain.com".

In blog.domain.com ho inserito il file robots.txt per consentire ai motori di ricerca di trovare la mappa del sito. Tuttavia, a causa dei caratteri jolly, tutti gli account utente condividono lo stesso file robots.txt. Ecco perché non riesco a utilizzare la seconda alternativa. E per ora non posso usare url rewrite per i file txt. (Immagino che le versioni successive di IIS possano gestirlo?)

Risposte:


318

Secondo la documentazione ufficiale su sitemaps.org deve essere un URL completo:

Puoi specificare la posizione della Sitemap utilizzando un file robots.txt. Per fare ciò, aggiungi semplicemente la seguente riga incluso l'URL completo alla Sitemap:

Sitemap: http://www.example.com/sitemap.xml

31
Si noti che l'esempio di @ unor ha: Sitemap con maiuscole S. Questo è importante poiché Robots.txt fa distinzione tra maiuscole e minuscole.
BodgeIT,

19
E sul tema del caso, robotstxt.org specifica il file da nominare robots.txtsenza la maiuscola R.
khargoosh,

se il sito sta caricando https, l'URL della Sitemap menzionato con http. Va bene? Oppure dobbiamo posizionare l'URL della Sitemap in base al protocollo?
Shams

4
@Shams: gli URL elencati nella Sitemap devono utilizzare lo stesso protocollo e lo stesso host del file Sitemap. Se il tuo sito è disponibile in http e https , devi fornire solo una sitemap (con la variante canonica) .
unor

2

I crawler di Google non sono abbastanza intelligenti, non possono eseguire la scansione di URL relativi, ecco perché si consiglia sempre di utilizzare gli URL assoluti per una migliore ricerca per indicizzazione e indicizzazione.

Pertanto, non è possibile utilizzare questa variazione

> sitemap: /sitemap.xml

La sintassi consigliata è

Sitemap: https://www.yourdomain.com/sitemap.xml

Nota:

  • Non dimenticare di scrivere in maiuscolo la prima lettera in "Sitemap"
  • Non dimenticare di inserire spazio dopo "Sitemap:"

-2

Buona domanda tecnica e logica, mio ​​caro amico. No nel file robots.txt non puoi andare con l'URL relativo della Sitemap; devi andare con l'URL completo della Sitemap.

È meglio scegliere "Sitemap: https://www.example.com/sitemap_index.xml "

Nell'URL sopra dopo i due punti dà spazio. Mi piace anche supportare Deepak.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.