Enorme aumento del traffico diretto da una città particolare

Il mese scorso ho notato che le visite dirette sul nostro sito sono aumentate di quasi il 150% mentre anche la frequenza di rimbalzo è notevolmente aumentata.

Dopo aver approfondito ulteriormente, posso vedere che abbiamo avuto quasi 2000 visite dirette da una città del Connecticut chiamata Stamford, con una frequenza di rimbalzo del 100%!

Ho cercato le risposte, ma posso solo scoprire che potrebbe avere a che fare con il nostro strumento di monitoraggio dei tempi di attività; Pingdom.

Qualcuno sa / ha qualche esperienza con questo tipo di problema, ogni aiuto è apprezzato

• Ho appena notato che stiamo ricevendo un traffico identico in una città in Inghilterra e in una città in Scozia ... Questo mi fa sicuramente pensare che abbia a che fare con il nostro strumento di monitoraggio dei tempi di attività.

Determinare la causa di strani picchi di traffico localizzati che non sembrano provenire da visitatori umani richiede pazienza e lavoro investigativo, ma i passaggi di base sono:

1. Scopri da dove proviene utilizzando gli strumenti a tua disposizione (vedi sotto).

2. Determinare se è pericoloso o meno analizzando le fonti della richiesta, la frequenza, le intestazioni della richiesta stesse e l'effetto sulla rete e sui server.

3. Decidi se bloccarlo solo in Google Analytics solo per impedire che compaia nelle tue statistiche (usando un filtro Google Analytics), per bloccarlo sul server per impedirgli di raggiungere il tuo sito in futuro (usando un firewall o un servizio come Cloudflare ) o ignorarlo del tutto.

Non illustrerò in dettaglio le implicazioni di sicurezza qui perché sembri più preoccupato per l'effetto che sta avendo sui tuoi dati di analisi. Ecco alcune osservazioni su questo caso particolare, con alcuni suggerimenti per determinare la possibile fonte e filtrare il traffico indesiderato in Google Analytics:

Probabilmente non è Pingdom

È improbabile che i picchi di Google Analytics siano visite da Pingdom per due motivi:

• I controlli HTTP di Pingdom non analizzano JavaScript , quindi non attivano gli script di Google Analytics incorporati. (L'ho verificato due volte con il team di supporto di Pingdom ieri, perché uso anche Pingdom ed ero curioso. Ecco una citazione diretta dalla loro email di supporto: "Poiché il nostro controllo HTTP non esegue alcun codice JavaScript, Google Analytics non avrà alcun registrazioni delle nostre visite effettuate dai nostri server probe sul tuo sito Web. " )

• Pingdom al momento non ha server a Edimburgo. Elencano tutti i loro server Probe con l'indirizzo IP e la posizione su una pagina del tuo pannello di controllo (il link chiamato "Server Probe" in basso a destra di tutte le pagine di amministrazione di Pingdom quando hai effettuato l'accesso). Gli unici due elencati nel Regno Unito in questo momento sono a Manchester e Londra.

Ma non devi credermi sulla parola. Se i picchi sono in corso e si desidera confermare che Pingdom non è la causa delle visite improvvise e dei picchi di frequenza di rimbalzo, è possibile:

1. Metti in pausa le richieste di Pingdom al tuo sito e verifica se i risultati di tali aree scompaiono. (Sospetto che non farà differenza.)

   - o -

2. Imposta una pagina su example.com/pingdom/any-url-you-like, punta le tue richieste Pingdom a quella pagina anziché alla tua home page ed escludi la /pingdom/sottodirectory dai risultati di Google Analytics (a) rimuovendo il codice di monitoraggio di Analytics su quella pagina o (b) utilizzando un filtro per escludere il pagina in Google Analytics se non riesci a rimuovere il codice di monitoraggio in base alla pagina (ad esempio se stai utilizzando un CMS che include il codice in ogni pagina e non hai accesso sufficiente per modificare questo comportamento).

Come filtrare le richieste con Google Analytics

Questo è necessario solo se si sospetta che Pingdom fa analizzare JavaScript, e non c'è alcuna indicazione che lo fa, ma filtrando fuori visite da Pingdom come questo è un modo per controllare se si desidera rassicurare te stesso. È anche utile imparare come farlo in modo da poter filtrare altri tipi di visite in futuro se è necessario:

1. Accedi a Google Analytics e fai clic sul link "Ammin" (in alto a destra, accanto a "Guida")

2. Fare clic sul nome di dominio o sul nome del sito per il profilo che si desidera filtrare. (ad es. example.com)

3. Fai clic sulla scheda "filtri".

4. Fai clic su "+ Nuovo filtro".

5. Assegna un nome al filtro e lascia selezionato "Filtro predefinito".

6. Seleziona "Escludi ... traffico verso le sottodirectory ... uguali a" dalle caselle a discesa.

7. Digitare /pingdom/nel campo Sottodirectory e lasciare "Case Sensitive" impostato su "No".

Questo dovrebbe essere il risultato quando hai finito:

Salvare queste impostazioni, quindi reimpostare i controlli Pingdom su example.com/pingdom/any-page-or-url-that-existse Google Analytics ora filtrerà le visite a tale URL. (Riceverai comunque rapporti di uptime del server di base in questo modo, anche se Pingdom non punta più alla tua home page.)

Se non è Pingdom, da dove vengono quei successi?

Puoi provare a scoprirlo in diversi modi:

1. Guarda quale rete ti sta inviando il traffico più rimbalzato. Per farlo con Google Analytics, consulta la sezione Rapporti standard per il tuo sito, quindi scegli Pubblico> Tecnologia> Rete dal lato sinistro. Infine, con la modalità grafico a torta selezionata (impostazione predefinita), scegli "Contributo al totale ... Rimbalza" dal menu a discesa a destra:

Vedrai un elenco di ISP o provider di rete i cui utenti hanno contribuito alla tua frequenza di rimbalzo. A volte questo sarà un piccolo ISP specifico che puoi tracciare in un'area o in un'azienda. Armato del nome del provider di rete che ti invia il traffico che rimbalza, puoi scegliere di filtrare quella particolare rete da Google Analytics come descritto sopra, ma filtrando per rete anziché per sottodominio.

Altre volte, il principale ISP elencato sarà un grande fornitore nazionale che potrebbe avere milioni di clienti e tu non sarai il più saggio. A quel punto, Google Analytics non può aiutarti a analizzare in dettaglio e determinare quale dei clienti di quel provider sta inviando traffico ripetuto (perché Analytics non include più informazioni sull'indirizzo IP o altri dati identificativi). Per ottenere quel tipo di dati, puoi utilizzare un altro provider di statistiche che registra gli indirizzi IP (come Clicky ) oppure puoi analizzare i log del tuo server, che registra anche l'accesso per indirizzo IP:

2. Esaminare i log di accesso del server Web per esplorare le visite di crawler noti e cercare l'accesso ripetuto dallo stesso indirizzo IP. Uno strumento di statistiche basato sul Web come AWStats può aiutarti in questo. È abbastanza popolare tra alcuni host web e potrebbero già averlo installato per te.

Ecco alcuni esempi di output di AWStats . Le due sezioni rilevanti per te sono "Host" e "Robot / Visitatori Spider".

La sezione host può fornire indizi su quali indirizzi IP stessero accedendo al sito per causare i rimbalzi (e quindi è possibile filtrare questi indirizzi IP in Google Analytics). La sezione robot / spider può fornire suggerimenti su eventuali crawler o script automatici che accedono al tuo sito e che potrebbero utilizzare JavaScript. Se non sei sicuro di come leggere o accedere ai log del server, chiedi aiuto al tuo provider di hosting.

Hai un indirizzo IP? Scopri chi lo sta usando.

Se riesci a ottenere un indirizzo IP dalla sezione Host in AWStats o altrove, puoi effettuare una ricerca IP inversa per determinare chi potrebbe utilizzarlo.

La ricerca IP inversa ti darà spesso il nome di un provider di hosting a cui potresti segnalare un abuso se ritieni che le richieste siano dannose. Oppure potrebbe darti il ​​nome di un ISP domestico il cui cliente sta utilizzando l'automazione tramite script nel tentativo di sfruttare il tuo sito Web. Normalmente è possibile inviare segnalazioni di abusi a abuse@example.com, dove si example.comtrova il nome del provider di hosting o ISP. E, a volte, offrirà il nome di una società specifica che è possibile contattare per ulteriori informazioni.

Che si tratti o meno di Pingdom, dipende dalle impostazioni che hai impostato per il servizio pingdom.

Se è impostato per fare richieste HTTP, allora sì, probabilmente è Pingdom. Se non utilizza richieste HTTP (solo ping o altri servizi), non sarà Pingdom ma suppongo che tu stia utilizzando richieste HTTP.

Non uso il pingdom quindi non so se hai il controllo sulla frequenza dei loro test. Se puoi, allora. Altrimenti potresti passare a utilizzare solo i test ping ma ciò non garantirà che il sito Web sia attivo, ma solo che il server sia attivo.

Se non puoi ridurre la frequenza dei test di Pingdom e la quantità di traffico che sta generando è problematica, dovrai semplicemente abbandonarla. Tuttavia, 2000 richieste al mese probabilmente non saranno un grosso problema: rovineranno in modo reale le informazioni analitiche del tuo sito web.

Puoi provare a aggirare questo isolando le richieste di Pingdom e cercando uno schema. Quindi, se si dispone di script analitici personalizzati, è possibile rilevare il modello e rimuovere gli indirizzi IP che aderiscono al modello dai risultati analitici. Tuttavia, potresti decidere che questo non vale la seccatura e tieni a mente la quantità di falsi colpi generati da Pingdom ogni mese.

Spero che questo possa essere d'aiuto.

C'è un buon articolo su come identificare e filtrare il traffico bot verso il tuo sito web Pingdom incluso, ecco l'articolo http://www.blastam.com/blog/index.php/2012/06/block-web-monitoring-bots-in -google-analytics / troppo tempo per copiarlo qui

Sapevi che se stai utilizzando un servizio come Keynote per monitorare le prestazioni del tuo sito Web, ciò sta influenzando le tue metriche web? Servizi come Keynote, Gomez, AlertSite, Pingdom e molti altri utilizzano un browser Web reale per visitare il tuo sito ripetutamente durante il giorno al fine di misurare le prestazioni del tempo di caricamento. Stanno caricando il tuo sito da più posizioni in tutto il mondo con browser reali che eseguono il javascript di monitoraggio di Google Analytics.

Probabilmente è Site Confidence alias NCC Group.

Per il nostro sito, un po 'di indagine sui filtri GA ha rivelato che tutti i colpi misteriosi di Edimburgo e Stamford provenivano da un PC con Windows 7, IE8 ma con una risoluzione di 800x600 che sembrava un po' sospetto.

Abbiamo controllato i registri per eventuali hit con IE 8 e abbiamo trovato rapidamente un modello di hit ogni 5 minuti; DNS inverso su quegli IP e provengono dalla sicurezza del sito, il che ha molto senso, dal momento che abbiamo chiesto loro di farlo.

Questo probabilmente è ovvio, ma è molto probabile che si tratti di attività automatizzata non rilevata. Qualsiasi attività che distorce eccessivamente (frequenza di rimbalzo del 100%) è molto probabile che sia un comportamento bot che in qualche modo ha ottenuto attraverso i filtri bot di GA.

Se è possibile, suddividere quelle visite dal browser / agente; se fossero tutti un singolo agente (che immagino), ciò rafforzerebbe le probabilità di attività automatizzata.