Come combattere gli spammer dei referrer di Google Analytics?

43

Negli ultimi mesi ho un sacco di spammer referrer nelle mie statistiche GA. Il loro conteggio è circa 10 volte superiore a quello dei visitatori legittimi (il mio sito non è ancora molto popolare). Ho attivato un'opzione per nascondere gli spammer noti nelle impostazioni GA, ma non mi è stato affatto utile. Sembra che questi spammer stiano usando degli script per inviare spam direttamente a GA (ovvero non sono registrati nel mio IIS).

C'è qualcosa che posso fare per fermare questi spammer?

UPD 10 mesi dopo, e hanno iniziato a inviare spam utilizzando nomi di pagine di destinazione false ... e Google non sta ancora facendo nulla al riguardo.

— user626528
fonte

1

Si prega di controllare i file di registro per gli hit con spam di referrer e facci sapere se ne vedi. Se puoi, modifica la domanda e includi lo spam di riferimento in questione. Sospetto di conoscere già la risposta. Sto facendo delle ricerche e ultimamente c'è una buona quantità di attività di referrer, alcune delle quali ho sperimentato me stesso. Inoltre, se hai installato WordPress, assicurati che sia aggiornato. Uno dei siti sembra seguire anche le vulnerabilità del WP. Inoltre, non visitare nessuno di questi siti a meno che non si utilizzi un browser di testo come Curl.

— closetnoc,

@closetnoc, questi spammer non sono registrati sul mio server. Come ho scritto, stanno inviando spam direttamente a GA. Non uso WP. "includi lo spam referrer in questione" - cosa intendi?

— user626528

So chi sono e ho pubblicato una risposta.

— closetnoc,

Sicuramente il modo migliore e più semplice per evitarlo è usare: referrerspamblocker.com È una configurazione automatizzata di filtri in Google Analytics. Lo uso da mesi ormai.

— Rody van Sambeek,

L'impostazione del "filtro bot" su true nelle impostazioni di Google Analytics aiuta a risolvere il problema? - lunametrics.com/blog/2014/08/07/…

— sam

7

Lo spam è fuori controllo. L'elenco sta crescendo ed è dispendioso in termini di tempo e nemmeno efficiente aggiungere un filtro per ciascuno degli spammer poiché la maggior parte di essi si presenta per alcuni giorni e poi scompare e ne arriva uno nuovo.

C'è molta disinformazione, l' errore più comune è raccomandare di usare .htaccess , questo file blocca l'accesso al sito Web, sebbene ci siano alcuni crawler (5 o 6) che possono essere bloccati, la stragrande maggioranza dello spam mai accedere al tuo sito è Ghost Spam.

Il modo migliore per fermare questo tipo di spam (Ghosts) è creare un filtro hostname valido , lo spam fantasma usa un nome host falso o non impostato, quindi con questo filtro non devi aggiungere filtri infiniti, un filtro prenderà cura del vecchio e nuovo spam. . Ho usato questa soluzione con successo per 3 mesi

Maggiori informazioni su questo metodo qui:

https://stackoverflow.com/a/28354319/3197362

— Carlos Escalera Alonso
fonte

Sono contento che questa sia la risposta accettata, dovrebbe davvero essere più apprezzata. La stragrande maggioranza dei segnalatori di spam in Analytics sono riferimenti fantasma. Ce ne sono alcuni con cui devi bloccare .htaccess, ma questa è una battaglia in corso per fermarli a distorcere le figure (Semalt è il principale colpevole di questo - legittimo bot mia zia Fanny).

— GeoffAtkins,

Oh Carlos, sto per raccomandare la guida per combattere lo spam nel tuo sito . So che questo commento verrà percepito come un modo per SEO / vendere, ma non lo è. Ammiro molto il tuo contributo su quella guida.

— Ooker

35

Va bene. Senza conoscere i siti in questione, cercherò di spiegare un po 'di quello che sta succedendo e fornirò solo alcuni link.

Da: http://www.cradlecloud.com/ban-block-blackhatworth-com-spam-referrals/

Ricevo i seguenti nomi di dominio associati al nuovo metodo di spam referrer che le persone vedono in ritardo.

BlackHatWorth.com
Iskalko.ru
Lomb.co
Lombia.co
Econom.co
Darodar.com
ILoveVitaly.Com
Priceg.com
Hulfingtonpost.com (Nuovo- aggiunto il 16 gennaio 2015)
Bestwebsitesawards.com (Nuovo- aggiunto il 3 febbraio 2015)
Ranksonic.info (Nuovo- aggiunto il 3 febbraio 2015)
Cenoval.ru (Nuovo- aggiunto il 6 febbraio 2015)
oo-6-oo.com (Nuovo- aggiunto il 25 febbraio 2015)
Humanorightswatch.org (Nuovo - aggiunto il 4 marzo 2015)
S.click.aliexpress.com (Nuovo- aggiunto il 17 marzo 2015 - Sospettato)
www1.social-buttons.com (Nuovo- aggiunto il 23 marzo 2015 - Sospettato)
4webmasters.org (Nuovo - aggiunto il 26 marzo 2015 - Sospettato)
Googlsucks.com (Nuovo- aggiunto il 07 aprile 2015)
Addons.mozilla.org (Nuovo- aggiunto il 07 aprile 2015 - Sospetto)
Smallseotools.com (Nuovo - aggiunto il 13 aprile 2015 - Sospettato)
Theguardlan.com (Nuovo- aggiunto il 14 aprile 2015)
Buy-cheap-online.info (Nuovo- aggiunto il 16 aprile 2015 - Sospettato)
Site1.free-share-buttons.com (Nuovo- aggiunto il 29 aprile 2015 - Sospettato)
Sanjosestartups.com (Nuovo, aggiunto il 25 maggio 2015)
Trafficmonetize.org (Nuovo - aggiunto il 3 giugno 2015 - Sospettato)
Howtostopreferralspam.eu (Nuovo - aggiunto il 09 giugno 2015 - Sospettato)
Www10.free-social-buttons.com (Nuovo- aggiunto il 16 giugno 2015 - Sospettato)
Getitfree.us (Nuovo - aggiunta la proprietà il 18 giugno 2015 non può essere determinata. Grazie - Trey Copeland)
Www6.free-social-buttons.com (Nuovo- aggiunto il 18 giugno 2015 - Sospettato)
Erot.co (Nuovo - aggiunto il 26 giugno 2015 - Sospettato)
3g2upl4pq6kufc4m.onion (Nuovo - aggiunto il 4 luglio 2015 - Sospettato)
Traffic2money.com (Nuovo- aggiunto il 28 luglio 2015 - Sospettato)

Nota: gli articoli sospetti sembrano seguire lo stesso modello di proprietà e potrebbero non essere legati allo stesso colpevole.

Un elenco piuttosto esaustivo di segnalatori di spam gestiti da Piwik è disponibile qui: https://github.com/piwik/referrer-spam-blacklist/blob/master/spammers.txt (Grazie - user2428118)

Per citare:

BlackHatWorth.com è un dominio relativamente nuovo creato solo il 7 gennaio 2015 che ora viene utilizzato per lo spam dei referrer. È un dato di fatto, questo sito Web di spam di riferimento è nascosto dietro il nome del motore di ricerca dello shopping e immagini di paesaggi meravigliosi.

... l'indirizzo IP di BlackHatWorth.com che è 78.110.60.230 è lo stesso associato ad altri siti Web di spam di riferimento ...

In realtà, il dominio BlackHatWorth.com è di proprietà dello stesso russo che possiede gli altri domini di spam di riferimento come ILoveVitaly.com, Econom.co e Darodar.com. Il nome del proprietario del dominio è presumibilmente Vitaly A Popov di Samara (città), Samaraskaya Oblast (stato), Russia.

Non puoi bloccare questo!

Da: http://www.blackmoreops.com/2014/12/19/darodar-com-referrer-spam/

Per citare:

Ecco un rapido esempio di come funziona Google Analytics.

Quindi, ottieni l'installazione su GA e ottieni un codice da loro. Il codice sembra UA-numero-1 o qualcosa del genere. Quel numero è il tuo "numero di conto" su GA. Ora, questo codice e un po 'di javascript vanno sulla tua pagina web. Ora, qualcuno visita la tua pagina e il suo browser esegue quel codice javascript.

Quel codice javascript è ciò che "registra" la loro visita. Fa parlare il proprio browser a Google Analytics. Nello specifico, effettua determinati tipi di richieste HTTP su cui Google registra le informazioni, quindi GA visualizza i riepiloghi di tali informazioni.

Abbastanza semplice, vero? Ancora con me? Bene, ora, se tutto ciò che è è questo Javascript che invia loro la "visita", allora chiunque può fingere. Qualcuno. Tutto quello che devo fare per fare in modo che GA mostri informazioni false è inviare le mie informazioni false direttamente a GA.

Non ho bisogno di visitare il tuo sito. Non ho bisogno di eseguire javascript. Devo solo riprodurre quelle richieste HTTP, che sono pubbliche e quindi chiunque può vederle e come funzionano. Sono persino abbastanza ben documentati, pubblicamente, dagli stessi Google.

Quindi, ora, diciamo che sono un coglione di spammer. Voglio convincere la gente a vedere il mio sito di spam. Quindi, cosa devo fare? Scrivo un po 'di codice per inviare migliaia e migliaia di queste false richieste a GA, e cerco semplicemente tutti i numeri UA, in ordine casuale, qualunque cosa. Mando una visita falsa, con un referrer falso, e il mio nome di dominio spam. E indovina cosa? Viene visualizzato nelle schermate di Google Analytics.

Vedi questo spam come qualsiasi altra visita normale. Perché per quanto riguarda GA, è stata una visita normale. Tutto ciò che stanno registrando sono quelle richieste HTTP, che normalmente provengono dal codice javascript GA. Ma una richiesta è una richiesta e crearne una falsa è molto, molto semplice.

Questo è quello che sta succedendo. Tutto ciò di cui ho bisogno è il tuo numero UA e con solo un po 'di sforzo posso fingere una visita al tuo sito senza mai collegarmi al tuo sito. Quella falsa visita può contenere qualsiasi nome di dominio e referrer che scelgo.

Questo è un attacco a Google Analytics, per promuovere qualunque sito venga visualizzato. Non puoi bloccarlo sul tuo server, perché il tuo server non è coinvolto affatto.

Puoi fare due cose: una, imposta un filtro come suggerisce John Conde; e due, vedere se esiste un modo per informare Google. Per questo non ho una risposta, ma ho un'idea.

[Aggiornare]

Questo sta cominciando a raggiungere proporzioni oltraggiose da centinaia di hit spam al giorno a pubblicità complete come questa:

inserisci qui la descrizione dell'immagine

— closetnoc
fonte

2

@JohnMueller Questo non è nel tuo regno, ma puoi mandare qualche e-mail in giro per vedere se G ha conoscenza al riguardo? Grazie in anticipo!!

— closetnoc,

2

@JohnConde Grazie! John Mueller potrebbe non saperlo, ma qualcuno in G dovrebbe. Anche se non c'è una risposta, almeno G dovrebbe avere un avviso se non lo fanno già. È la cosa giusta da fare per tutti noi. Saluti!

— closetnoc,

1

@JohnConde BTW- Ho visto domande su questo su altri siti SE (e possibilmente correlati). Non ho preso appunti, ma c'è un buon modo di trasmettere una nota alle altre Mod? O dovrei solo Google questi nomi di dominio e cercare risposte e pubblicare?

— closetnoc,

1

@joelmdev Hai perso il punto che questi non possono essere bloccati. Questo è un attacco diretto su Google. Nessuno ha alcun controllo tranne Google. Sono stati avvisati e questi si sono fermati per la maggior parte.

— closetnoc,

2

@Steve Non riesco a vedere che c'è un grande profitto, tuttavia, ce ne deve essere uno da qualche parte. L'individuo menzionato nella risposta odia Google e probabilmente vuole almeno imbarazzare Google. Ma stanno anche chiaramente usando questo spam per indirizzare il traffico verso vari siti Web che continuano a essere registrati. Ho anche visto qualcosa di simile a un annuncio usando questo metodo. È fastidioso da morire !! Fa del male alle persone innocenti più di Google. Presumo che funzioni ... molto triste.

— closetnoc,

5

Puoi escluderli creando un filtro . Devi trovare qualcosa di abbastanza specifico in modo da non bloccare accidentalmente buoni visitatori ed è noioso in quanto devi aggiungere manualmente ogni spammer ma questo farà il trucco.

— John Conde
fonte

Hai qualche consiglio IIS che può aiutarti? Posso aiutare con Apache, ma l'OP sembra avere IIS.

— closetnoc,

2

Se non stanno colpendo il loro sito Web, che è quello che credo abbiano detto, allora questo non sarebbe un metodo efficace per bloccarli. O ho letto la domanda in modo errato?

— John Conde

L'ho letto mentre l'OP riceve hit dallo spam dei referrer.

— closetnoc,

2

Anzi, ma a quanto pare stanno colpendo GA direttamente invece di colpire il loro sito. It seems these spammers are using scripts to spam directly to GA (i.e. they are not logged in my IIS).

— John Conde

Va bene. Hai ragione. Colpa mia!! Non sono sicuro del motivo per cui non l'ho preso perché stavo solo leggendo qualcosa di questo appena prima di questa domanda. Sono stato colpito anche dallo spam dei referrer e un articolo menzionato (brevemente) che non c'erano voci nei loro file di registro. Nuovo metodo interessante.

— closetnoc,

4

Per rispondere direttamente alla domanda sul titolo "Come combattere gli spammer dei referrer", la risposta più semplice è eliminare Google Analytics e passare a Piwik , che blocca automaticamente tutto lo spam dei referrer per impostazione predefinita .

Mi rendo conto che probabilmente sei abituato a Google Analytics e desidero continuare a usarlo, ma se guardi l'immagine più grande hai un'altra opzione che funziona molto bene. Piwik può anche essere configurato per registrare gli indirizzi IP dei visitatori, se lo desideri, e non rilascia i dati dei visitatori a società pubblicitarie di terze parti che potrebbero attirare alcuni utenti.

— Tom Brossman
fonte

2

A proposito, la lista nera di spam dei referrer che Piwik utilizza è open source: github.com/piwik/referrer-spam-blacklist

— Matthieu Napoli

il loro database di spam è piuttosto piccolo. non include nemmeno i domini indicati nel mio rapporto di analisi.

— Don Dilanga,

1

Ecco una regola che funziona su IIS:

<rewrite>
  <rules>
    <rule name="abort referer spam requests" stopProcessing="true">
      <match url=".*" />
      <conditions>
        <add input="{HTTP_REFERER}" pattern="(semalt\.com)|(buttons\-for\-website\.com)" />
      </conditions>
      <action type="AbortRequest" />
    </rule>
    <!--The rest of your rules, if you have any-->
  </rules>
</rewrite>

— Flo
fonte

2

Questa risposta non ha nulla a che fare con la domanda di OP poiché gli spammer inviano spam direttamente a Google Analytics bypassando il server web di OP.

— Alfred Myers,

@AlfredMyers Il tuo commento è parzialmente vero dal momento che alcuni spammer usano il metodo webserver, altri usano il metodo diretto come dici tu. In quest'ultimo caso l'unica soluzione è l'aggiunta di filtri in Google Analytics per ottenere rapporti chiari. Per evitare ciò, preferirei che Google utilizzasse un identificatore univoco con hash più lungo per gli account GA, in modo che gli spammer non potessero semplicemente scorrere tra i numeri disponibili e rispondere alle richieste.

— Flo

L'OP afferma specificamente "... questi spammer utilizzano script per inviare spam direttamente a GA (ovvero non sono registrati nel mio IIS)". Quindi, per questa domanda specifica, non stanno accedendo al suo server web.

— Alfred Myers,

1

Nel caso in cui tu stia ancora cercando una soluzione e non riesci a capire i riferimenti fatti, ecco la Guida definitiva per la rimozione dello spam di referral, ora sulla sua 133a revisione dal 28 dicembre 2014: http://www.analyticsedge.com/2014 / 12 / analisi rimozione-referral-spam-google-/

TL; DR:

un filtro nome host valido rimuoverà tutti i riferimenti fantasma (Includi nome host mydomain.com)
uno specifico filtro di esclusione (o blocco del sito Web) rimuoverà l'elenco molto più breve di crawler di spam (semalt.com | kambasoft.com | 7makemoneyonline.com | best-seo-offer.com | best-seo-solution.com | pulsanti-per -website.com | buttons-for-your-website.com | -musicas * -gratis | anticrawler.org | savetubevideo.com | ranksonic)
un segmento avanzato può essere utilizzato per rimuoverli dai rapporti storici.

Il segmento avanzato può essere importato dalla Galleria di soluzioni di Google Analytics: https://www.google.com/analytics/gallery/#posts/search/%3F_.sort%3DDATE%26_.start%3D0%26_.type%3DADVANCED_SEGMENT % 26_.viewId% 3DGjpPQhFgS9aVzniXH4MTIg /

— Mike Sullivan
fonte

0

All'inizio dell'anno scorso, mi è stato assegnato il compito di trovare la migliore soluzione possibile allo spam di Google Analytics. Come tutti gli altri, ho provato gli approcci consigliati ma nulla sembrava funzionare così bene. Quindi, successivamente mi sono rivolto a Google Tag Manager ma non mi è sembrato di grande aiuto. Frustrato e irritato, ho deciso di ricostruire lo script di monitoraggio di Google Analytics, incorporando contromisure contro le forme più comuni e fastidiose di spam.

Sebbene non sia perfetto, dopo ~ 1,5 anni di costante costruzione, test, debug e refactoring, ora ho uno script di monitoraggio di Google Analytics abbastanza affidabile che funziona bene fuori dalla scatola ed è facilmente personalizzabile. Per coloro che desiderano metriche soddisfacenti, questo funziona come un fascino.

https://github.com/nickolasburr/intelligent-ga-tracking

— nburr
fonte