Come posso impedire l'accumulo di errori Soft 404 per la pagina "Nessun risultato"?

Di recente, ho notato che ho un elenco crescente di errori Soft 404 in Strumenti per i Webmaster di Google. Sono tutti per le pagine dei risultati di ricerca generate dinamicamente che riportano "Nessuna corrispondenza trovata".

Io non capisco che cosa significa Google dalla morbida 404 e il motivo per cui stanno segnalando per queste pagine. Quindi ho aggiunto <meta name="robots" content="noindex">a queste pagine.

Tuttavia, Google sta ancora segnalando nuovi errori Soft 404 per le pagine che utilizzano il metatag noindex .

Perché Google segnala un errore per una pagina che ho detto loro di non indicizzare?

Il problema è che con tutti questi errori indesiderati, non riesco a vedere se ci sono problemi reali che devono essere risolti.

Alcuni hanno detto che queste pagine dovrebbero restituire un codice di stato 404. Ma questo sposta semplicemente il problema sulla scheda errori 404. Inoltre, Google restituisce il codice di stato 200 per la loro pagina senza risultati .

Non voglio bloccare l'accesso con robots.txt perché voglio seguire i link su queste pagine e voglio che Google veda il metatag noindex . Inoltre, non esiste un modello che potrei usare per bloccarli.

Google ha trovato questi URL in primo luogo perché il contenuto esisteva, ma da allora è stato eliminato. Non riesco a restituire un codice di stato 410, perché il mio codice PHP non ha modo di conoscere il motivo per cui non sono stati trovati risultati.

C'è qualcosa che posso fare per rendere più facile vedere i veri problemi?

Dovresti impedire a Google di eseguire la scansione delle pagine di ricerca del sito. Google non vuole di scansione del tuo sito di ricerca a tutti . Ecco il post sul blog di Matt Cutts di Google sul problema: Risultati di ricerca nei risultati di ricerca di Matt Cutts il 10 marzo 2007 . Google ora penalizza attivamente i siti che consentono di scansionare i risultati di ricerca dei loro siti e di visualizzarli nelle SERP di Google. Consentendo a Googlebot di eseguire la scansione delle pagine dei risultati di ricerca, si rischia tutto il traffico di referral di Google. Un trucco preferito di un revisore di Google è utilizzare la ricerca del tuo sito per termini di spam come "Viagra". Quando vedono come risultato una pagina di scansione (anche se dice "nessun risultato trovato per il Viagra") applicheranno una sanzione manuale contro il tuo sito come sito di spam.

Dovresti inserire la ricerca del tuo sito robots.txt. Assicurati solo che Googlebot possa ancora eseguire la scansione delle tue pagine di contenuti. Quindi smetterai di ricevere nuovi errori soft 404 riportati.

Un gran numero di errori 404 (anche errori soft 404) non danneggiano le classifiche del tuo sito. Google segnala errori su qualsiasi pagina che possono trovare e sottoporre a scansione, indipendentemente dal fatto che tu lo voglia indicizzare e che tu non li colleghi o meno. Lo fanno perché le segnalazioni di errori sono esclusivamente a tuo vantaggio e hanno la sensazione che tu debba essere pienamente informato.

Ecco cosa ha da dire John Mueller di Google al riguardo :

1. 404 errori su URL non validi non danneggiano in alcun modo l'indicizzazione o il posizionamento del tuo sito. Non importa se ci sono 100 o 10 milioni, non danneggeranno il posizionamento del tuo sito. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. In alcuni casi, gli errori di scansione potrebbero derivare da un legittimo problema strutturale all'interno del tuo sito Web o CMS. Come lo dici? Ricontrolla l'origine dell'errore di scansione. Se sul tuo sito è presente un link non funzionante, nell'HTML statico della tua pagina, vale sempre la pena correggerlo. (grazie + Martino Mosna)
3. Che dire degli URL funky che sono "chiaramente rotti?" Quando ai nostri algoritmi piace il tuo sito, potrebbero provare a trovare più contenuti interessanti su di esso, ad esempio cercando di scoprire nuovi URL in JavaScript. Se proviamo quegli "URL" e troviamo un 404, è fantastico e previsto. Non vogliamo perdere nulla di importante (inserisci qui il meme Googlebot troppo attaccato). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. Non è necessario correggere gli errori di scansione in Strumenti per i Webmaster. La funzione "Contrassegna come risolto" serve solo per aiutarti, se vuoi tenere traccia dei tuoi progressi lì; non cambia nulla nella nostra pipeline di ricerca web, quindi sentitevi liberi di ignorarlo se non ne avete bisogno. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. Elenchiamo gli errori di scansione negli Strumenti per i Webmaster per priorità, che si basa su diversi fattori. Se la prima pagina di errori di scansione è chiaramente irrilevante, probabilmente non troverai errori di scansione importanti in altre pagine. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. Non è necessario "correggere" gli errori di scansione sul tuo sito Web. Trovare 404 è normale e ci si aspetta da un sito Web sano e ben configurato. Se hai un nuovo URL equivalente, reindirizzarlo è una buona pratica. Altrimenti, non dovresti creare contenuti falsi, non devi reindirizzare alla tua home page, non dovresti robots.txt non consentire tali URL - tutte queste cose ci rendono più difficile riconoscere la struttura del tuo sito ed elaborarlo correttamente. Chiamiamo questi errori "soft 404". http://support.google.com/webmasters/bin/answer.py?answer=181708
7. Ovviamente - se questi errori di scansione vengono visualizzati per gli URL che ti interessano, forse gli URL nel tuo file Sitemap, allora è qualcosa su cui dovresti agire immediatamente. Se Googlebot non è in grado di eseguire la scansione dei tuoi URL importanti, potrebbero essere eliminati dai nostri risultati di ricerca e gli utenti potrebbero non essere in grado di accedervi.