Impedire ai robot di eseguire la scansione di parti specifiche di una pagina

Come webmaster responsabile di un minuscolo sito che ha un forum, ricevo regolarmente lamentele da parte degli utenti che sia il motore di ricerca interno che le ricerche esterne (come quando usano Google) sono totalmente inquinate dalle firme dei miei utenti (stanno usando a lungo firme e questo fa parte dell'esperienza del forum perché le firme hanno molto senso nel mio forum).

Quindi sostanzialmente sto vedendo due opzioni per ora:

1. Rendering della firma come immagine e quando un utente fa clic su "immagine della firma", viene portato a una pagina che contiene la firma reale (con i collegamenti nella firma, ecc.) E tale pagina viene impostata come non scansionabile dalla ricerca ragni del motore). Ciò consumerebbe un po 'di larghezza di banda e richiederebbe un po' di lavoro (perché avrei bisogno di un renderer HTML che produce l'immagine ecc.) Ma ovviamente risolverebbe il problema (ci sono piccoli trucchi in quanto la firma non rispetterebbe lo schema di font / colore di gli utenti, ma i miei utenti sono comunque molto creativi con le loro firme, usando caratteri / colori / dimensioni personalizzati ecc. quindi non è un grosso problema).

2. Contrassegnare ogni parte della pagina Web che contiene una firma come non scansionabile.

Tuttavia non sono sicuro del futuro: è qualcosa che si può fare? Puoi semplicemente contrassegnare parti specifiche di una pagina Web come non scansionabili?

Ecco la stessa risposta che ho fornito al tag noindex per google su Stack Overflow:

Puoi impedire a Google di vedere parti della pagina inserendo quelle parti in iframe che sono bloccate da robots.txt.

robots.txt

Disallow: /iframes/

index.html

This text is crawlable, but now you'll see 
text that search engines can't see:
<iframe src="/iframes/hidden.html" width="100%" height=300 scrolling=no>

/iframes/hidden.html

Search engines cannot see this text.

Invece di usare iframe, puoi caricare il contenuto del file nascosto usando AJAX. Ecco un esempio che utilizza jquery ajax per farlo:

his text is crawlable, but now you'll see 
text that search engines can't see:
<div id="hidden"></div>
<script>
    $.get(
        "/iframes/hidden.html",
        function(data){$('#hidden').html(data)},
    );
</script>

Un'altra soluzione è quella di avvolgere il sig in un arco o div con lo stile impostato su display:nonee quindi utilizzare Javascript per portarlo via in modo che il testo venga visualizzato per i browser con Javascript attivato. I motori di ricerca sanno che non verrà visualizzato, quindi non dovrebbero indicizzarlo.

Questo bit di HTML, CSS e javascript dovrebbe farlo:

HTML:

<span class="sig">signature goes here</span>

CSS:

.sig {
display:none;
}

javascript:

<script type="text/javascript"> 
$(document).ready(function()
  {
      $(".sig").show();
  }
</script>

Dovrai includere una libreria jquery .

Ho avuto un problema simile, l'ho risolto con CSS ma può essere fatto anche con javascript e jquery.

1 - Ho creato una classe che chiamerò " disallowed-for-crawlers" e inserirò quella classe in tutto ciò che non volevo che il bot di Google vedesse, o la posizionassi all'interno di un arco con quella classe.

2 - Nel CSS principale della pagina avrò qualcosa di simile

.disallowed-for-crawlers {
    display:none;
}

3- Creare un file CSS chiamato disallow.css e aggiungerlo a robots.txt per impedire la ricerca per indicizzazione, quindi i crawler non accederanno a quel file, ma aggiungerlo come riferimento alla pagina dopo il css principale.

4- In disallow.cssho inserito il codice:

.disallowed-for-crawlers {
    display:block !important;
}

Puoi giocare con JavaScript o CSS. Ho appena approfittato delle classi disallow e css. :) spero che aiuti qualcuno.

Un modo per farlo è usare un'immagine di testo piuttosto che un semplice testo.

È possibile che Google alla fine sia abbastanza intelligente da leggere il testo dall'immagine, quindi potrebbe non essere completamente a prova di futuro, ma dovrebbe funzionare bene per almeno un po 'da adesso.

Ci sono molti svantaggi di questo approccio. Se una persona è ipovedente, è male. Se vuoi che i tuoi contenuti si adattino ai dispositivi mobili rispetto ai computer desktop, è male. (e così via)

Ma è un metodo che attualmente (in qualche modo) funziona.

Questo è facile.

Prima di pubblicare la tua pagina devi sapere se si tratta di un bot, un computer o un telefono. È quindi necessario impostare il contenuto di conseguenza. Questa è una pratica standard al giorno d'oggi e funzionalità di base di alcuni CMS.

Esistono molte soluzioni su SE per eseguire il reindirizzamento basato su USER AGENT che può essere inserito nel tuo htaccess. Se questo si adatta al software del tuo forum, puoi eseguire codice diverso dallo stesso DB per offrire ciò di cui Google ha bisogno senza la pula e le rifiniture.

In alternativa puoi inserire una piccola riga nel tuo codice PHP che indica "se AGENTE UTENTE == Googlebot non mostrare le firme".

Se davvero non puoi farlo, puoi ottenere mod_proxy per servire al bot e usarlo per eliminare tutto ciò che il tuo codice php genera e che il bot non deve vedere.

Tecnicamente Google non approva la visualizzazione di una pagina diversa rispetto a quella mostrata dal normale visitatore del sito al loro motore di ricerca, tuttavia, finora, non ha rimosso la BBC e altri che forniscono contenuti specifici di browser / IP / visitatori dai risultati dei loro motori di ricerca . Hanno anche mezzi limitati per vedere se il loro bot è stato "ingannato".

La soluzione alternativa di nascondere il contenuto con CSS affinché venga riattivato da uno script è anche un po 'di un'area grigia. Secondo le linee guida degli Strumenti per i Webmaster del 20/06/11, questa non è una buona idea:

http://www.google.com/support/webmasters/bin/answer.py?answer=66353

Potrebbe non essere un tablet proiettato nella pietra, ma è aggiornato e di Google.

Il trucco per nascondere il contenuto non funzionerà con la minoranza di persone che non hanno JavaScript, questo potrebbe non essere un grosso problema, tuttavia, attendere il caricamento del documento e quindi mostrare le firme non sarà un'esperienza di visualizzazione soddisfacente come farai pensa che la pagina sia stata caricata, quindi salterà mentre le firme nascoste vengono visualizzate per spingere il contenuto nella pagina. Questo tipo di caricamento della pagina può essere irritante se si dispone di un net-top di fascia bassa ma potrebbe non essere evidente se si dispone di una macchina per sviluppatori veloce su una connessione Internet veloce.

No, non è possibile impedire ai robot di eseguire la scansione di parti di pagine. È un'intera pagina o niente.

Gli snippet nei risultati di ricerca di Google sono generalmente presi dalla meta descrizione sulla pagina. Quindi puoi fare in modo che Google mostri una parte specifica della pagina inserendola nel tag meta description. Con i contenuti generati dagli utenti è difficile ottenere buoni frammenti, ma probabilmente prendere il primo post del thread funzionerebbe.

L'unico altro modo a cui riesco a pensare è usare Javascript. Qualcosa come suggerito da Paulmorriss potrebbe funzionare, ma penso che i motori di ricerca indicizzerebbero comunque il contenuto se fosse nell'HTML. È possibile rimuoverlo dall'HTML, archiviarlo nella stringa Javascript, quindi aggiungerlo nuovamente al caricamento della pagina. Questo diventa un po 'complesso, però.

Infine, una cosa da tenere a mente: se Google mostra le firme degli utenti nei loro frammenti, ha deciso che è la parte più rilevante per la query dell'utente.

Puoi mettere la pagina in un PHP se con un "else" che porta a un captcha che fornisce la chiave per la parte if.

Non mi interessa davvero perché se le credenziali dell'utente non corrispondono sulla mia pagina ottengono una pagina vuota o vengono inviate alla pagina di accesso.

<?php
session_start();

if(empty($_SESSION['captcha']) or $_SESSION['captcha'] != $key){
    header("Location: captcha.php");
}

if(!empty($_SESSION['captcha']) and $_SESSION['captcha'] == $key){

"the page"

}
?>

$key dovrebbe essere un hash del giorno corrente o qualcosa che cambia, quindi non è sufficiente aggiungere il valore alla sessione.

Scrivi nel commento se vuoi che aggiunga un captcha di esempio perché non ne ho uno adesso.

Apparentemente, <! - googleoff: all -> e <! - googleon: all -> fai quello che vuoi.

Ulteriori informazioni https://www.google.com/support/enterprise/static/gsa/docs/admin/70/gsa_doc_set/admin_crawl/preparing.html#1076243

https://perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/