Quale tag meta "robot" ottiene la preferenza?

Mia moglie lavora in una scuola superiore in Germania. Di recente ho notato che è estremamente difficile trovare l'homepage di quella scuola usando Google. Ho guardato il codice sorgente della pagina e credo di aver trovato il motivo: ci sono due <meta name="robots">tag; uno è

<meta name="robots" content="all">

e il secondo, più in basso nella pagina, è

<meta name="robots" content="noindex, follow">

La mia ipotesi è che il secondo vince il primo e impedisce a Google di indicizzare il sito. Ho ragione? Non vorrei dire al webmaster che ho riscontrato il problema e diventare un idiota di me stesso (perché non so davvero nulla su come costruire una pagina Web adeguata, figuriamoci fare SEO).

A proposito, se ti capita di trovare altri stupidi sul sito, sarei felice se tu potessi segnalarli. Il mio prossimo candidato sarebbe l'assoluta mancanza di metatag pertinenti che trasmettano informazioni sul contenuto della pagina.

seo web-crawlers meta-robots

— Tim Pietzcker
fonte

Wikipedia tedesca afferma che <meta name="robots" content="all"> è semanticamente uguale a <meta name="robots" content="index, follow">, quindi entrambi i meta tag sono contraddittori in alcun modo. Mi piacerebbe informare il webmaster. Suppongo inoltre che Google sceglierà la politica più rigorosa e quindi non indicizzerà la pagina per evitare problemi di copyright.

— Matthias Ronge il

Ho anche visto che alla fine della pagina vengono inviate due richieste a server di terze parti ( ajax.googleapis.come ssl.google-analytics.com). Questo può essere un problema legale contro il privilegio dell'autodeterminazione informativa in Germania. Consiglierei di evitarlo.

— Matthias Ronge il

Ci sono anche due titleelementi. E lo stesso si ripete su altre pagine, non solo sulla homepage! In effetti, non sembra esserci alcuna pagina indicizzata, a parte una manciata di PDF !? Forse moduli in conflitto nel CMS ?! Un piccolo problema secondario ... Come indicato nelle risposte, la regola più restrittiva verrà applicata dai motori di ricerca, non necessariamente la regola successiva. Tuttavia, una funzione come PHP get_meta_tags()restituirà solo la regola successiva, quindi c'è un problema (potenziale) immediato con avere più meta tag per gli stessi dati.

— MrWhite,

@ w3d: grazie per gli approfondimenti! Questo è molto utile

— Tim Pietzcker,

Risposte:

Mentre la Wikipedia tedesca afferma che allè un valore valido, non ho idea da dove provengano tali informazioni e Wikipedia tedesca non cita alcuna fonte. È AFAIK sbagliato e IMHO un buon esempio del perché non si dovrebbe fare affidamento su Wikipedia per questo tipo di informazioni.

Se desideri utilizzare il meta tag robot per indirizzare googlebot , la migliore informazione sui valori validi è centrale per i webmaster di Google . Essa elenca i seguenti sei valori come validi: noindex, nofollow, noarchive, nosnippet, noodp, none.

In altre parole, per googlebot :

meta name="robots" content="all">

è un errore di sintassi e verrà ignorato, mentre:

<meta name="robots" content="noindex, follow">

è una sintassi valida e verrà rispettata (quindi questo spiega perché è estremamente difficile trovare l'homepage di quella scuola usando Google).

Per rispondere alla tua seconda domanda, cosa succede se due meta tag robot validi sono in conflitto, dice Google (stessa pagina di quella collegata sopra):

Se i valori dei contenuti sono in conflitto, utilizzeremo i più restrittivi.

Per quanto riguarda i meta tag, ecco una panoramica dei meta tag riconosciuti da Google .

— Svartepjotr
fonte

Grazie per il link al centro webmaster di Google. Lo darò al webmaster della scuola.

— Tim Pietzcker,

I meta tag robot sono dettagliatamente documentati in developers.google.com/webmasters/control-crawl-index/docs/… - il modo semplice per ricordare è che quelli "positivi" (tutto, indicizza, segui) non hanno effetto a tutti.

— John Mueller,

Per quanto ne so, il comportamento di due meta tag in conflitto non è definito, ma molto probabilmente vincerà la regola più restrittiva.

Ciò accade nel caso simile del file robots.txt rispetto al tag meta robots. Se robots.txt impedisce l'indicizzazione di una pagina e i meta-robot no, la pagina non verrà indicizzata. E se robots.txt consente una pagina ma i meta-robot la bloccano, non verrà comunque indicizzata.

Quindi la logica imporrebbe che se ci sono due meta tag in conflitto, se uno blocca l'indicizzazione sovrascriverà l'altro (indipendentemente dalle rispettive posizioni sulla pagina).

Dovresti chiedere al webmaster se stanno bloccando i motori di ricerca per un motivo particolare. In caso contrario, rimuovere entrambi i meta tag (il valore predefinito è consentire ai motori di ricerca, quindi nessun motivo per avere il tag).

Per quanto riguarda l'altra parte della tua domanda, le recensioni dei siti non rientrano nell'ambito di Pro Webmasters. Ma aggiungerò che il tag meta description è probabilmente l'unico che troverai utile. Il tag meta parole chiave non è utilizzato da nessun motore di ricerca.

— DisgruntledGoat
fonte