Come utilizzare le statistiche CDF e PDF per l'analisi

Questa potrebbe essere una domanda troppo generica, ma spero di poter trovare aiuto qui. Sto iniziando un lavoro RA nella mia università e il mio argomento sarà correlato all'analisi del traffico Internet. Sono abbastanza nuovo nel mondo dell'analisi, ma credo che nel mondo della ricerca questo sia ciò che devo fare molto.

Ho esaminato alcuni articoli e in molti di essi trovo che usano la densità di probabilità (PDF), CDF, CCDF ecc. Per spiegare i risultati ottenuti. Ad esempio, PDF della durata della sessione dell'utente, CDF di byte trasferiti ogni giorno ecc. Ho preso la classe di probabilità e statistica, quindi capisco quali sono ma sono ancora confuso con i casi in cui tale rappresentazione sarebbe scelta.

Quindi, se c'è qualcuno là fuori che fa tali grafici e analisi (in qualsiasi altro argomento in generale o questo) potresti dirmi semplicemente in quale situazione dovrei usare l'una o l'altra di queste rappresentazioni

In parte è una questione di gusti e di convenzioni, ma la teoria, l'attenzione ai tuoi obiettivi e un pizzico di neuroscienza cognitiva [vedi i riferimenti] possono fornire una guida.

Poiché un pdf e un cdf trasmettono le stesse informazioni, la distinzione tra loro deriva da come lo fanno: un pdf rappresenta la probabilità con le aree mentre un cdf rappresenta la probabilità con le distanze (verticali) . Gli studi dimostrano che le persone confrontano le distanze più velocemente e in modo più accurato di quanto confrontino le aree e che valutano sistematicamente le aree in modo errato. Pertanto, se il tuo scopo è fornire uno strumento grafico per leggere le probabilità, dovresti favorire l'uso di un cdf.

Pdf e cdf rappresentano anche la densità di probabilità : la prima lo fa per mezzo dell'altezza mentre la seconda rappresenta la densità per pendenza . Ora le tabelle sono girate, perché le persone sono scarse stime della pendenza (che è la tangente di un angolo; tendiamo a vedere l'angolo stesso). Le densità sono efficaci nel trasmettere informazioni su modalità, pesantezza delle code e lacune. Favorire l'uso di pdf in tali situazioni e in qualsiasi altro luogo in cui è necessario enfatizzare i dettagli locali della distribuzione delle probabilità.

A volte un pdf o un cdf fornisce utili informazioni teoriche. Il suo valore (o meglio il suo inverso) è coinvolto in formule per errori standard per quantili, estremi e statistiche di rango. Visualizza un pdf anziché un cdf in tali situazioni. Quando si studiano le correlazioni multivariate in un ambiente non parametrico, come con le copule , il cdf risulta essere più utile (forse perché è la funzione che trasforma una legge di probabilità continua in una legge uniforme).

Un pdf o un cdf può essere intimamente associato a un particolare test statistico. Il test di Kolmogorov-Smirnov (e la statistica KS) ha una semplice rappresentazione grafica in termini di buffer verticale attorno al cdf; non ha una semplice rappresentazione grafica in termini di pdf (che io conosca).

Il ccdf (cdf complementare) viene utilizzato in applicazioni speciali incentrate sulla sopravvivenza e su eventi rari. Il suo uso tende ad essere stabilito per convenzione.

Riferimenti

WS Cleveland (1994). Gli elementi dei dati grafici. Summit, NJ, USA: Hobart Press. ISBN 0-9634884-1-4

BD Dent (1999). Cartografia: Mappa tematica 5a ed. Boston, MA, Stati Uniti: WCB McGraw-Hill.

AM MacEachren (2004). Come funzionano le mappe. New York, New York, Stati Uniti: The Guilford Press. ISBN 1-57230-040-X

Concordo con la risposta di Whuber, ma ho un ulteriore punto secondario:

Il CDF ha un semplice stimatore non parametrico che non ha bisogno di scelte: la funzione di distribuzione empirica . Stimare un PDF non è così semplice. Se si utilizza un istogramma, è necessario scegliere la larghezza del contenitore e il punto iniziale per il primo contenitore. Se si utilizza la stima della densità del kernel, è necessario scegliere la forma e la larghezza di banda del kernel. Un lettore sospettoso o cinico potrebbe chiedersi se hai scelto davvero questi a priori o se hai provato alcuni valori diversi e hai scelto quelli che hanno dato il risultato che ti è piaciuto di più.

Questo è solo un punto minore però. Quelle create da whuber sono più importanti, quindi probabilmente userei questo solo per scegliere quando ero ancora indeciso dopo aver considerato quelli.

Immagino che dipenda dalle statistiche o dai risultati che scoprirai, ricerche, studi o rapporti. Suppongo che probabilmente userete questi grafici per rappresentare i risultati per il vostro argomento universitario, giusto?

Ad esempio, se si desidera presentare le proprie conclusioni su "Per quanto tempo gli utenti rimangono su un determinato sito Web", potrebbe essere utile mostrarlo in CDF poiché mostra il tempo accumulato che ha trascorso su quel sito Web, attraverso le pagine ecc. .

D'altra parte, se si desidera semplicemente mostrare la probabilità che gli utenti facciano clic su un collegamento pubblicitario (ad es. Collegamento Google AdWords), è possibile che si desideri presentarlo in formato PDF poiché sarà probabilmente una normale campana di distribuzione e si può mostrare la probabilità di tale ribaltamento.

Spero che questo aiuti, Jeff