Qual è il modo migliore per escludere i bot dal conteggio delle visualizzazioni?

Il mio sito web conta le visualizzazioni dei visitatori su determinate pagine. Ho notato che Google e altri robot stanno "facendo clic" sul mio sito come un matto e alcune pagine ottengono conteggi di visualizzazioni non realistici (rispetto a quelli prodotti dagli umani).

Sto chiedendo le migliori pratiche per escludere quei robot dal mio numero di visualizzazioni. Ovviamente un semplice "user agent" contiene "bot" non lo farà.

Non penso che ci sia una soluzione di prova proiettile né ne ho bisogno.

Nota: sto usando PHP + MySQL.

Sono contento che tu sappia che non ci sarà un modo a prova di proiettile per raggiungere questo obiettivo. Ciò significa che la tua prospettiva è almeno realistica.

Poiché JavaScript non è un'opzione, direi che ti rimane:

• Controlla lo user-agent per la parola "bot" in esso. Ciò catturerà la maggior parte di loro.

• Compila un elenco di robot noti e filtrali in base a un tipo di identificatore univoco, probabilmente il loro user-agent.

• Inserisci un link nascosto nel piè di pagina del tuo sito Web che collega a una pagina che raccoglie user-agent e / o indirizzi IP. Gli utenti non lo vedranno ma lo faranno i robot. Quindi chiunque visiti quella pagina sarà un bot. Registrali e poi bloccali dalle tue statistiche.

Esistono tre modi abbastanza semplici:

1. Utilizza Google Analytics, che elaborerà e gestirà tutti i dati per te e ti presenterà statistiche dettagliate per i visitatori e come sono arrivati ​​al tuo sito. Questa è di gran lunga la soluzione più semplice.
2. Usa Javascript per eseguire il conteggio. Quando la pagina è stata caricata, genera una richiesta AJAX nello script di conteggio. I robot e i ragni non eseguono Javascript.
3. Il rilevamento di "bot" nella stringa dell'agente utente è in realtà abbastanza affidabile. In alternativa, è possibile attenersi solo a robot noti come Googlebot, Yahoo, MSNbot ecc. La verifica di questi tre dovrebbe coprire il 99% del traffico bot. Questa pagina ne contiene alcune ma sembra piuttosto obsoleta.

UPDATE: Googlebot e alcuni importanti bot non esecuzione di JavaScript in questi giorni. Pertanto, l'utilizzo dell'opzione n. 2 da solo non è più praticabile. Tuttavia, ciò significa che usarlo insieme a # 3 dovrebbe essere abbastanza affidabile, poiché puoi facilmente escludere la maggior parte dei bot utilizzando JS, quindi sul lato server escludi i principali bot come Googlebot che eseguono JS.

Inoltre, come indicato nei commenti, puoi provare a utilizzare l'API di Google Analytics per visualizzare le visualizzazioni per ogni pagina.

Se usi Javascript per contare le visualizzazioni, la maggior parte dei robot non lo eseguirà e quindi non verrà incluso nel conteggio delle visualizzazioni. Questa risposta potrebbe essere vicina a ciò che desideri /programming/1973448/how-can-i-count-a-page-views

Il mio approccio prevede due passaggi:

1. Filtra solo i browser Web e le console facendo corrispondere l'inizio della stringa dell'agente utente con Mozilla|Opera|PSP|Bunjalloo|wii. Grazie allo spoofing dell'agente utente questo controllo rileverà quasi tutti i browser
2. Escludere i bot dalle stringhe di stop comuni bot|crawl|slurp|spider

Quindi, se il primo passo viene superato, supponiamo che sia un browser e dietro ci sia un vero visitatore. Come ho scoperto, però, alcuni robot fingono di essere Mozillacompatibili e iniziano con la loro stringa agente utente con esso. Ecco perché il secondo passaggio potrebbe tornare utile ed eliminarli.

function isBrowser () {

    return preg_match( '/^(Mozilla|Opera|PSP|Bunjalloo|wii)/i', $_SERVER['HTTP_USER_AGENT'] ) && !preg_match( '/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'] );
}

Uso solo un semplice user agent che analizza l'esclusione. Elimina il 99% dei robot che vanno nelle mie pagine.

SELECT * FROM `live_visitors` where (
lower(agent) != '%bot%' and
lower(agent) != '%slurp%' and
lower(agent) != '%spider%' and
lower(agent) != '%crawl%' and
lower(agent) != '%archiver%' and
lower(agent) != '%facebook%')

Puoi usare un'immagine come contatore, in questo caso non conterà i robot e il nome della pagina viene passato come una query con il nome dell'immagine

Sto usando questo su img.php che aggiorna la visualizzazione della pagina nel database:

<?php
$xnt = $_GET["ID"]; if (isset($xnt) && is_numeric($xnt)) {
$DBServer = "localhost"; $DBUser = "xxx"; $DBPass = "xxx"; $DBaze = "xxx";
$conn = mysqli_connect($DBServer, $DBUser, $DBPass, $DBaze); 
mysqli_query($conn, "UPDATE stats SET stats_vz=stats_vz+1 WHERE stats_id=".$xnt);
mysqli_close($conn);}
$im = @imagecreatetruecolor(1, 1); imagesavealpha($im, true); imagealphablending($im, false); $white = imagecolorallocatealpha($im, 255, 255, 255, 127); imagefill($im, 0, 0, $white);
header("Content-type: image/png"); imagepng($im); imagedestroy($im);