Il paradosso della Sitemap

Usiamo una sitemap su Stack Overflow, ma ho sentimenti contrastanti al riguardo.

I crawler Web di solito scoprono pagine da collegamenti all'interno del sito e da altri siti. Le Sitemap integrano questi dati per consentire ai crawler che supportano le Sitemap di raccogliere tutti gli URL nella Sitemap e conoscere tali URL utilizzando i metadati associati. L'uso del protocollo Sitemap non garantisce che le pagine Web siano incluse nei motori di ricerca, ma fornisce suggerimenti per i crawler Web per fare un lavoro migliore nella scansione del tuo sito.

Sulla base della nostra esperienza di due anni con le Sitemap, c'è qualcosa di fondamentalmente paradossale nella Sitemap :

1. Le Sitemap sono destinate a siti che sono difficili da eseguire correttamente la scansione.
2. Se Google non riesce a eseguire la ricerca per indicizzazione del tuo sito per trovare un link, ma è in grado di trovarlo nella Sitemap, questo non dà peso al link Sitemap e non lo indicizza!

Questo è il paradosso della Sitemap: se il tuo sito non viene sottoposto a scansione corretta (per qualsiasi motivo), l'utilizzo di una Sitemap non ti aiuterà!

Google fa di tutto per non offrire alcuna garanzia Sitemap :

"Non possiamo fare previsioni o garanzie su quando o se il vostro URL saranno scansionati o aggiunti al nostro indice" citation

"Non garantiamo la scansione o l'indicizzazione di tutti i tuoi URL. Ad esempio, non eseguiremo la scansione o l'indicizzazione degli URL delle immagini contenuti nella tua Sitemap." citazione

"la presentazione di una Sitemap non garantisce che tutte le pagine del sito verranno scansione o incluse nei nostri risultati di ricerca" citation

Dato che i collegamenti trovati nelle Sitemap sono solo raccomandazioni , mentre i collegamenti trovati sul proprio sito Web sono considerati canonici ... sembra l'unica cosa logica da fare è evitare di avere una Sitemap e assicurarsi dannatamente che Google e qualsiasi altro motore di ricerca possano correttamente spider il tuo sito utilizzando le semplici pagine Web standard che tutti gli altri vedono.

Con il tempo che avete fatto che , e stanno ottenendo spidered bello e fondo in modo Google può vedere che il tuo sito link a queste pagine, e sarebbe disposto a strisciare i link - uh, perché abbiamo bisogno di una mappa del sito, ancora una volta? La mappa del sito può essere attivamente dannosa, perché ti distrae dall'assicurare che gli spider dei motori di ricerca siano in grado di eseguire la ricerca per indicizzazione dell'intero sito. "Oh, non importa se il crawler può vederlo, schiaffeggeremo semplicemente quei link nella mappa del sito!" La realtà è piuttosto l'opposto nella nostra esperienza.

Ciò sembra più che ironico considerando che le sitemap sono state pensate per siti che hanno una raccolta molto profonda di collegamenti o UI complesse che possono essere difficili da individuare. Nella nostra esperienza, la Sitemap non aiuta, perché se Google non riesce a trovare il link sul tuo sito corretto, non lo indicizzerà comunque dalla Sitemap. Abbiamo visto questo provato più volte con domande Stack Overflow.

Ho sbagliato? Le sitemap hanno senso e le stiamo usando in qualche modo in modo errato?

Disclaimer: collaboro con il team di Sitemaps su Google, quindi sono un po 'di parte :-).

Oltre ad utilizzare ampiamente le Sitemap per contenuti "non indicizzati al web" (immagini, video, notizie, ecc.), Utilizziamo le informazioni dagli URL inclusi nei file delle Sitemap per questi scopi principali:

• Scoprire contenuti nuovi e aggiornati (suppongo che questo sia ovvio, e sì, prendiamo e indicizziamo anche URL non collegati da lì)
• Riconoscimento degli URL preferiti per la canonicalizzazione (esistono anche altri modi per gestire la canonicalizzazione )
• Fornire un utile conteggio degli URL indicizzati in Strumenti per i Webmaster di Google (approssimazioni dal sito: -query non sono utilizzabili come metrica)
• Fornire una base per utili errori di scansione (se un URL incluso in un file Sitemap presenta un errore di scansione, di solito si tratta di un problema più grande e mostrato separatamente in Strumenti per i Webmaster)

Sul lato webmaster, ho anche trovato i file Sitemap estremamente utili:

• Se usi un crawler per creare il file Sitemaps, puoi facilmente verificare che il tuo sito sia eseguibile la scansione e vedere di persona quali tipi di URL sono stati trovati. Il crawler sta trovando i tuoi URL preferiti o qualcosa non è configurato correttamente? Il crawler si blocca in spazi infiniti (ad es. Script di calendario infiniti) da qualche parte? Il tuo server è in grado di gestire il carico?
• Quante pagine ha davvero il tuo sito? Se il tuo file Sitemap è "pulito" (nessun duplicato, ecc.), Allora è facile da controllare.
• Il tuo sito è davvero in grado di eseguire la scansione in modo pulito senza incorrere in contenuti duplicati? Confronta i log del server lasciati da Googlebot con il tuo file Sitemaps - se Googlebot sta eseguendo la scansione di URL che non sono nel tuo file Sitemap, potresti voler ricontrollare il tuo collegamento interno.
• Il tuo server ha problemi con i tuoi URL preferiti? Il controllo incrociato del log degli errori del server con gli URL delle Sitemap può essere molto utile.
• Quante pagine sono davvero indicizzate? Come accennato in precedenza, questo conteggio è visibile in Strumenti per i Webmaster.

Concesso, per siti veramente piccoli, statici, facilmente scansionabili, l'utilizzo di Sitemap potrebbe non essere necessario dal punto di vista di Google una volta che il sito è stato sottoposto a scansione e indicizzato. Per qualsiasi altra cosa, consiglierei davvero di usarli.

FWIW Ci sono anche alcune idee sbagliate che vorrei trattare anche:

• Il file Sitemap non ha lo scopo di "risolvere" i problemi di crawlability. Se il tuo sito non può essere sottoposto a scansione, correggilo prima .
• Non utilizziamo i file Sitemap per il posizionamento.
• L'uso di un file Sitemap non riduce la normale scansione del tuo sito. Sono informazioni aggiuntive, non un sostituto per la scansione. Allo stesso modo, non avere un URL in un file Sitemap non significa che non verrà indicizzato.
• Non preoccuparti dei metadati. Se non riesci a fornire valori utili (ad esempio per priorità), lasciali fuori e non preoccuparti.

Se sai di avere una buona architettura del sito e Google troverebbe le tue pagine naturalmente l'unico vantaggio di cui sono a conoscenza è l'indicizzazione più veloce, se il tuo sito viene indicizzato abbastanza velocemente per te, allora non è necessario.

Ecco l'articolo del 2009 in cui un signore ha testato la velocità con cui Google ha eseguito la scansione del suo sito con una sitemap e senza. http://www.seomoz.org/blog/do-sitemaps-effect-crawlers

La mia regola empirica è se stai lanciando qualcosa di nuovo e non testato, vuoi vedere come Google esegue la scansione del tuo sito per assicurarti che non ci sia nulla da riparare, quindi non inviare, se stai apportando modifiche e desideri Google per vederli più velocemente quindi inviare o se hai altre informazioni sensibili al tempo come le ultime notizie quindi invia perché vuoi fare tutto il possibile per assicurarti di essere il primo a vedere Google, altrimenti è una questione di preferenza.

Sospetto: per Google, le sitemap sono necessarie per tenere traccia degli aggiornamenti nel modo più veloce possibile. Ad esempio, supponiamo che tu abbia aggiunto un nuovo contenuto in una posizione profonda del tuo sito Web, che richiede più di 10-20 clic per raggiungere dalla tua home page. Per Google raggiungere questa nuova pagina sarebbe meno probabile in breve tempo, quindi invece, fino a quando non viene completamente determinato un percorso per questa pagina, viene annunciata la sua esistenza . Dopotutto, PageRank non viene calcolato immediatamente, richiede tempo per valutare il comportamento dell'utente e così via - quindi, fino ad allora, perché il motore non dovrebbe eseguire la scansione e l'indicizzazione di una pagina con contenuti nuovi?

Le Sitemap sono incredibilmente preziose se le usi correttamente.

Innanzitutto, il fatto che Google dica che sono suggerimenti è solo a) garantire che i webmaster non abbiano la falsa impressione che sitemap = indicizzazione eb) dia a Google la possibilità di ignorare determinate sitemap se le considerano inaffidabili ( aka lastmod è la data corrente per tutti gli URL ogni giorno a cui accedono.)

Tuttavia, a Google generalmente piacciono e consumano le sitemap (infatti a volte le trovano e le aggiungono agli Strumenti per i Webmaster di Google). Perché? Aumenta l'efficienza con cui possono strisciare.

Invece di iniziare da un sito di seed e di eseguire la scansione del Web, possono allocare una quantità appropriata del loro budget di scansione a un sito in base alle Sitemap inviate. Possono anche creare una grande cronologia del tuo sito con i dati di errore associati (500, 404 ecc.)

Da Google:

"Googlebot esegue la scansione del Web seguendo i collegamenti da una pagina all'altra, quindi se il tuo sito non è ben collegato, potrebbe essere difficile per noi scoprirlo."

Quello che non dicono è che la scansione del Web richiede tempo e preferiscono avere un cheat sheet (noto anche come sitemap).

Certo, il tuo sito potrebbe andare bene dal punto di vista della ricerca per indicizzazione, ma se desideri introdurre nuovi contenuti, trascinarli in una Sitemap con un'alta priorità è un modo più rapido per eseguire la scansione e l'indicizzazione.

E questo funziona anche per Google, dal momento che vogliono trovare, scansionare e indicizzare nuovi contenuti - velocemente. Ora, anche se non pensi che Google preferisca la strada battuta rispetto al machete sull'approccio della giungla, c'è un'altra ragione per cui le sitemap sono preziose: il monitoraggio.

In particolare, utilizzando un indice Sitemap (http://sitemaps.org/protocol.php#index) è possibile suddividere il sito in sezioni: Sitemap per Sitemap. In questo modo puoi quindi esaminare la percentuale di indicizzazione del tuo sito sezione per sezione.

Una sezione o un tipo di contenuto potrebbe avere un tasso di indicizzazione dell'87% mentre un altro potrebbe avere un tasso di indicizzazione del 46%. È quindi il tuo lavoro capire perché.

Per sfruttare appieno le Sitemap ti consigliamo di tracciare la scansione di Googlebot (e Bingbot) sul tuo sito (tramite weblog), abbinarle alle tue Sitemap e quindi seguire tutto il traffico.

Non andare a dormire sulle Sitemap, investi in esse.

In parole di Google: "Nella maggior parte dei casi, i webmaster trarranno vantaggio dall'invio della Sitemap e in nessun caso sarai penalizzato per questo".

Ma sono d'accordo che la cosa migliore che puoi fare se vuoi che le pagine del tuo sito web appaiano nei motori di ricerca è assicurarsi che siano scorrevoli dal sito in modo appropriato.

Credo che i motori di ricerca utilizzino la sitemap non tanto per trovare le pagine, ma per ottimizzare la frequenza con cui le controllano per gli aggiornamenti. Guardano <changefreq>e <lastmod>. Google probabilmente controlla molto spesso l'intero sito Web (controlla i tuoi registri!), Ma non tutti i motori di ricerca hanno le risorse per farlo (qualcuno ha mai provato Blekko ?). In ogni caso, poiché non vi è alcuna penalità per il loro utilizzo e possono essere creati automaticamente e facilmente continuerei a farlo.

se ti interessa questo argomento, leggi questo fantastico documento su Google http://googlewebmastercentral.blogspot.com/2009/04/research-study-of-sitemaps.html (aprile 2009) - leggi l'articolo completo, non solo il blogpost .

dalla carta

• ok, praticamente google ha lottato con la stessa domanda.
• non rivelano come determinano il valore all'interno della Sitemap, ma citano il concetto di un collegamento virtuale dalla pagina iniziale alla Sitemap.
• molte altre cose interessanti

ma sì, la sitemap viene utilizzata principalmente per la scoperta (il processo di google che scopre le tue cose), non per la determinazione del valore. se hai difficoltà con la scoperta, usa una Sitemap. la scoperta è un prerequisito per la scansione, ma non tocca la determinazione del valore.

dalla mia esperienza

• ci sono un sacco di siti che usano solo sitemap HTML e XML per l'interconnessione delle loro pagine
• e di questi, la Sitemap XML è molto meglio sottoposta a scansione rispetto alla Sitemap HTML. (ho dato una buona occhiata ad alcuni davvero grandi)
• ci sono anche siti di grande successo che usano solo sitemap XML.

quando implemento una strategia SEO per un sito con più di mezzo milione di pagine che scelgo

• landingpages
• sitemap.xml
• pagina iniziale

tutto il resto è semplicemente "bilanciato" - sì, altre cose potrebbero avere un valore SEO positivo, ma sicuramente hanno un valore negativo: rende il sito più difficile da gestire. (ps: per la determinazione del valore collego le landing page in modo sensazionale (grande impatto), ma questo è già il secondo passo).

sulla tua domanda: per favore non confondere scoperta, scansione, indicizzazione e classifica. puoi seguirli tutti separatamente e puoi ottimizzarli tutti separatamente. e puoi migliorare la scoperta e la scansione in modo sostanziale con una sitemap eccezionale (ovvero: in tempo reale).

Le Sitemap possono salvarti il ​​culo.

Su uno dei miei siti, ho un gran numero di collegamenti che impedisco ai motori di ricerca di eseguire lo spidering. Per farla breve, Google stava interpretando erroneamente JS nel mio forum e innescando molti codici di risposta 500 e 403, che credevo influenzassero la posizione del sito. Ho risolto il problema escludendo gli URL problematici tramite robots.txt.

Un giorno, ho fatto un casino e ho fatto qualcosa che ha impedito a Google di eseguire la scansione di alcune pagine di quel sito che volevo davvero indicizzare. A causa delle esclusioni del forum, la sezione di errore di Strumenti per i Webmaster per "Limitato da robots.txt" conteneva oltre 4000 pagine, quindi non avrei rilevato questo errore fino a quando non era troppo tardi.

Fortunatamente, poiché tutte le pagine "importanti" sul mio sito sono nelle Sitemap, sono stato in grado di rilevare rapidamente questo problema nella categoria di errori speciali che Strumenti Webmaster ha per problemi con le pagine nelle Sitemap.

A parte ciò, ho anche tratto molti benefici dall'utilizzo di un indice Sitemap per determinare la qualità dell'indicizzazione di varie sezioni dei miei siti, come menzionato da @AJ Kohn.

Non mi sono imbattuto in questo me stesso, ma la maggior parte dei miei progetti sono applicazioni o siti che altrimenti richiedono account utente, quindi l'indicizzazione da parte dei motori di ricerca non è un obiettivo.

Detto questo, ho sentito prima che SEO ha sostanzialmente reso inutili le sitemap. Se guardi il protocollo, è una specie di "sistema d'onore" per dire con che frequenza cambia una pagina e qual è la priorità relativa di ogni pagina. È ovvio che una decina di aziende SEO abusano dei campi: ogni pagina ha la massima priorità! ogni pagina cambia ogni ora! - e reso le sitemap effettivamente inutili.

Questo articolo del 2008 dice sostanzialmente questo e sembra giungere alla stessa conclusione che si fa: la sitemap è abbastanza inutile e sarebbe meglio ottimizzare il contenuto da indicizzare e abbandonare la sitemap.

Lascialo strisciare.

Faccio quanto segue:

1. rendere il sito visitabile alla vecchia maniera.
2. assicurati di avere un file robots.txt con l'indicazione della Sitemap su di esso.
3. crea una sitemap XML, ma non inviare. Consenti al crawler di scoprirlo e utilizzarlo secondo necessità, come parte del suo processo di individuazione e indicizzazione.

Genero un file XML esteso, che funge da base per molte cose:

• Generazione della Sitemap HTML
• Aiuta la pagina 404 (non trovata)
• Aiuta con altre piccole attività, come fare il pangrattato o ottenere alcuni metadati sul mio modello di facciata per una pagina.

Quindi ho tutto questo, perché non servire anche una sitemap xml e lasciare che il crawler faccia quello che vorrebbe fare, se gli piacerebbe farlo?

Jeff, non ho idea di StackOverflow perché non ho mai avuto l'opportunità in vita mia di diventare un webmaster di un sito Web così vasto e aggiornato di frequente.

Per i piccoli siti Web che non cambiano frequentemente penso che le Sitemap siano abbastanza utili (non dire che la Sitemap è la cosa più importante, ma piuttosto utile Sì) per due motivi:

1. Il sito viene sottoposto a scansione rapidamente (stesso motivo spiegato nella risposta di Joshak sopra ) e nella mia piccola esperienza l'ho notato molte volte con siti di piccole dimensioni (fino a 30/50 pagine)

2. Dopo alcune settimane ho inviato una Sitemap, cerco in "Strumenti per i Webmaster di Google - Sitemap" e posso vedere il numero di URL inviati nella Sitemap VS il numero di URL nell'indice Web . Se vedo che sono uguali, allora bene. Altrimenti posso controllare immediatamente nei miei siti Web quali pagine non vengono indicizzate e perché.

Questo è stato (per primo?) Scritto da Randfish a SEOmoz nel buon vecchio anno del 2007. La prima volta in cui arrivò alle stesse conclusioni, ma poi il tempo fece la cosa ... e passò.

Da allora (gennaio 2009) ha aggiunto un poscritto all'articolo in cui si afferma che ogni possibile aspetto negativo è semplicemente compensato dai risultati complessivamente positivi di generazione, verifica e presentazione di sitemap.

Aggiornamento del 5 gennaio 2009 - Ho davvero cambiato idea su questo consiglio. Sì, le sitemap possono ancora offuscare i problemi di architettura, ma data l'esperienza che ho avuto negli ultimi 1,5 anni, ora raccomando a tutti i nostri clienti (e quasi a tutti coloro che chiedono) di inviare sitemap. Gli aspetti positivi in ​​termini di scansione, indicizzazione e traffico superano semplicemente gli aspetti negativi.

Credo che SiteMaps abbia solo due scopi in questi giorni:

• Consentono di ridurre la frequenza di spidering per alleviare il carico del server. Questo non dovrebbe davvero essere un problema per la maggior parte dei siti.
• Possono aiutare a rafforzare ciò che il motore di ricerca già sa di te. Elencare i nomi delle pagine e ovviamente aggiungere la ponderazione appropriata a ciascuna pagina consente al motore di ricerca di convalidare le proprie metriche per classificare l'architettura del sito.

NON UTILIZZARE SITEMAP

Le Sitemap sono principalmente per i siti che non dispongono di indici e nodi di data / ora .... SE fa entrambe le cose per il suo contenuto principale, quindi avere una Sitemap rallenterà un crawler ... Sì, esatto, lo rallenterà, perché la Sitemap manca i metadati che hanno gli indici core. D'altra parte, non ho idea reale di come Google costruisca i suoi robot, so solo se stavo andando al bot SE, NON userei la Sitemap. Inoltre, alcuni siti non si accorgono nemmeno che le loro sitemap sono tutte%! @ $ - e se hai creato un profilo su una sitemap, all'improvviso non funziona e devi creare un nuovo profilo sito reale.

Quindi, hai ragione - NON UTILIZZARE SITEMAP!

SUGGERIMENTO: una cosa che dovresti fare è mantenere la semantica dei tag lo stesso nel tempo il più possibile, nel senso che se "Asked One Hour Ago" ha dei metadati incorporati come:

title="2010-11-02 00:07:15Z" class="relativetime"

non modificare mai il nome della stringa relativetime, a meno che il significato dei dati in non titlesia cambiato. MAI... :-)

Di recente ho ristrutturato un sito a cui sto ancora lavorando. Dal momento che non riuscivo a vedere come collegare 500.000 pagine per aiutare gli utenti, ho deciso di utilizzare una Sitemap XML, inviarla a Google e utilizzare invece la ricerca nel sito. Google non ha avuto problemi a indicizzare il mio sito in precedenza, tuttavia, poiché aggiungendo la sitemap, Google è molto aggressivo nello spidering del mio sito e nell'indicizzazione delle pagine in modo estremamente rapido. Google ha utilizzato la Sitemap per trovare nuove pagine (circa 3300 a settimana) e rivisitare le pagine aggiornate. È stata una vera vittoria nel mio libro. Voglio ancora trovare un nuovo modo per collegare le mie pagine e utilizzare AJAX per la ricerca, ma è un progetto per un altro giorno. Fin qui tutto bene! È stata una buona soluzione per me. Tutto sommato, ho guadagnato e non perso. Il che è interessante poiché ho sempre pensato che le sitemap potessero effettivamente essere più utili ma limitate dal suo design.

Ho sentito che le sitemap mettono le tue pagine nell'indice supplementare più velocemente. Ma non ho nemmeno sentito l'indice supplementare menzionato da anni, quindi potrebbero non usarlo più.

PS nel caso in cui la mia affermazione non sia abbastanza chiara, essere nell'indice supplementare è (o era) una cosa MALE ... quindi una sitemap è (o era) MALE.

Utilizziamo sitemap (non inviate ai motori di ricerca, ma collegate robots.txt) principalmente per assicurarci che la homepage abbia il massimo <priority>. Non sono sicuro che abbiano molto altro uso.

Non sono d'accordo sul fatto che Google non indicizzerà i collegamenti solo sitemapped. Ho numerosi siti che hanno pagine raggiungibili solo tramite sitemap e Google li indicizza senza problemi. Posso fare molti esempi di questo.

Un sito ben costruito non ha bisogno di una mappa del sito, anche se può aiutare con la nostra copertura e classifica e aggiunge un piccolo valore aggiuntivo come priorità, frequenza di aggiornamento, ecc. Puoi dire a un motore di ricerca ehi ... Ho aggiornato questa pagina da qualche parte nel mezzo del mio sito senza richiedere una scansione completa. Non ho mai guardato i modelli di scansione, ma si spera che abbia aiutato.

Detto questo, il vero vantaggio per me sono gli strumenti per i webmaster e l'intuizione che ti dà sulla visibilità del tuo sito web e dei tuoi utenti.