Devo includere tutto nella Sitemap o solo nuovi contenuti?

Per un sito Web con contenuti dinamici (i nuovi contenuti vengono costantemente aggiunti), devo includere solo i contenuti più recenti nella Sitemap o devo includere tutto (con un indice Sitemap)? Quali sono le migliori pratiche per le Sitemap esp. per siti di grandi dimensioni?

Inoltre, esiste un modo per fare in modo che Google (e altri motori di ricerca) eseguano la scansione delle pagine della Sitemap?

Grazie

Aggiornamento:
Inoltre, hai idea di come gestire stackoverflow? Mi piacerebbe sapere, ma sfortunatamente (anche comprensibilmente ) hanno bloccato l'accesso alla loro sitemap.

seo sitemap

— mee
fonte

Quanto è grande il sito? Esiste un limite di dimensioni sia per robots.txt che per la Sitemap. Sorprendentemente, molti superano entrambi, motivo per cui lo sto chiedendo.

— Tim Post

@ Tim, per ora non è molto grande (tutto può stare in una mappa del sito), ma sto cercando di pianificare in anticipo.

— Mee,

Includi tutte le pagine. Lo scopo della Sitemap XML è di informare i motori di ricerca di tutti i tuoi contenuti. Non solo le nuove cose.

Dal sito web sitemaps.org (sottolineatura mia):

Le Sitemap sono un modo semplice per i webmaster di informare i motori di ricerca sulle pagine dei loro siti disponibili per la scansione .

Se disponi di molti contenuti, puoi utilizzare più sitemap XML .

Se hai contenuti che non desideri sottoporre a scansione o indicizzazione, devi indicare in modo specifico ai motori di ricerca di non eseguire la scansione e l'indicizzazione di tali pagine. Utilizzare un file robots.txt per bloccare pagine o directory che non si desidera sottoporre a scansione. Puoi anche usare un meta tag anche per quello. Ma non è possibile specificare in una Sitemap XML di non eseguire la scansione di pagine non elencate.

— John Conde
fonte

Grazie per la risposta, includerò tutto nella Sitemap.

— Mee

Hai una libreria in grado di gestire 50 + k di pagine?

Ci sono oltre 50k pagine in un database?

— John Conde

Non è necessario inserire ogni pagina del sito in una Sitemap. Una Sitemap è utile per informare i motori di ricerca sulle pagine disponibili per la scansione. Se il motore di ricerca è già in grado di visualizzare tutte le pagine di cui è possibile eseguire la scansione e non si stanno aggiungendo informazioni sull'ultima modifica, allora non c'è motivo per averne una.

— Django Reinhardt,

Questa risposta sembra in qualche modo in conflitto con webmasters.stackexchange.com/a/5151/30596 . Citando @John Mueller da Google,

Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— utente