Mi piacerebbe sapere se esiste una variante boxplot adattata ai dati distribuiti di Poisson (o forse ad altre distribuzioni)?

Con una distribuzione gaussiana, i baffi posizionati su L = Q1 - 1,5 IQR e U = Q3 + 1,5 IQR, il boxplot ha la proprietà che ci saranno all'incirca tanti valori anomali bassi (punti sotto L) quanti sono i valori anomali alti (punti sopra U ).

Se i dati sono distribuiti da Poisson, tuttavia, ciò non vale più a causa dell'asimmetria positiva che otteniamo Pr (X <L) <Pr (X> U) . Esiste un modo alternativo per posizionare i baffi in modo tale da "adattarsi" a una distribuzione di Poisson?

I boxplot non sono stati progettati per assicurare in tutti i casi una bassa probabilità di superare le estremità dei baffi: sono intesi e generalmente utilizzati come semplici caratterizzazioni grafiche della maggior parte di un set di dati. In quanto tali, vanno bene anche quando i dati hanno distribuzioni molto distorte (anche se potrebbero non rivelare altrettante informazioni quanto le distribuzioni approssimativamente non distorte).

Quando i grafici a scatole si inclinano, come faranno con una distribuzione di Poisson, il passo successivo è di ri-esprimere la variabile sottostante (con una trasformazione monotonica, crescente) e ridisegnare i grafici a scatole. Poiché la varianza di una distribuzione di Poisson è proporzionale alla sua media, una buona trasformazione da utilizzare è la radice quadrata.

Ogni boxplot raffigura 50 iid attinge da una distribuzione di Poisson con intensità data (da 1 a 10, con due prove per ogni intensità). Notare che l'asimmetria tende ad essere bassa.

Gli stessi dati su una scala di radice quadrata tendono ad avere grafici a scatola leggermente più simmetrici e (tranne per l'intensità più bassa) hanno QI approssimativamente uguali indipendentemente dall'intensità).

In breve, non modificare l'algoritmo boxplot: riesprimi invece i dati.

Per inciso, le possibilità rilevanti di calcolare sono queste: qual è la probabilità che una variabile normale indipendente superi la recinzione superiore (inferiore) U ( L ) come stimato da n estrazioni indipendenti dalla stessa distribuzione? $X$$U$$L$$n$ Ciò spiega il fatto che i recinti in un diagramma a scatole non sono calcolati dalla distribuzione sottostante ma sono stimati dai dati. Nella maggior parte dei casi, le probabilità sono molto superiori all'1%! Ad esempio, qui (basato su 10.000 prove Monte-Carlo) è un istogramma delle possibilità del registro (base 10) per il caso :$n=9$

(Poiché la distribuzione normale è simmetrica, questo istogramma si applica a entrambe le recinzioni.) Il logaritmo dell'1% / 2 è circa -2,3. Chiaramente, la maggior parte delle volte la probabilità è maggiore di questa. Circa il 16% delle volte supera il 10%!

Si scopre (non ingombrerò questa risposta con i dettagli) che le distribuzioni di queste probabilità sono paragonabili al caso normale (per la piccola ) anche per le distribuzioni di Poisson di intensità pari a 1, che è piuttosto distorta. La differenza principale è che di solito è meno probabile trovare un valore anomalo basso e un po 'più probabilità di trovare un valore anomalo alto.$n$

Esiste una generalizzazione di grafici a scatole standard di cui sono a conoscenza in cui le lunghezze dei baffi vengono adattate per tenere conto dei dati distorti. I dettagli sono meglio spiegati in un white paper molto chiaro e conciso (Vandervieren, E., Hubert, M. (2004) "Un diagramma rettificato per le distribuzioni distorte", vedi qui ).

$\verb+R+$$\verb+robustbase::adjbox()+$$\verb+libra+$

Personalmente trovo che sia un'alternativa migliore alla trasformazione dei dati (anche se si basa anche su una regola ad-hoc, vedi il white paper).

Per inciso, trovo che ho qualcosa da aggiungere all'esempio di whuber qui. Nella misura in cui stiamo discutendo il comportamento dei baffi, dovremmo davvero considerare anche cosa succede quando si considerano i dati contaminati:

library(robustbase)
A0 <- rnorm(100)
A1 <- runif(20, -4.1, -4)
A2 <- runif(20,  4,    4.1)
B1 <- exp(c(A0, A1[1:10], A2[1:10]))
boxplot(sqrt(B1), col="red", main="un-adjusted boxplot of square root of data")
adjbox(      B1,  col="red", main="adjusted boxplot of data")

In questo modello di contaminazione, B1 ha essenzialmente una distribuzione log-normale salvo il 20% dei dati che sono metà outlier, metà right outlier (il punto di breakdown di adjbox è lo stesso di quello dei boxplot normali, cioè presuppone che al massimo Il 25 percento dei dati può essere negativo).

I grafici rappresentano i classici grafici a scatole dei dati trasformati (utilizzando la trasformazione radice quadrata)

e il diagramma a scatola modificato dei dati non trasformati.

Rispetto ai grafici a scatola regolati, la prima opzione maschera i veri valori anomali ed etichetta i buoni dati come valori anomali. In generale, riuscirà a nascondere qualsiasi evidenza di asimmetria nei dati classificando i punti offensivi come valori anomali.

In questo esempio, l'approccio dell'uso del boxplot standard sulla radice quadrata dei dati trova 13 valori anomali (tutti a destra), mentre il boxplot modificato trova 10 valori anomali a destra e 14 a sinistra.

EDIT: trama rettificata in poche parole.

Nei boxplot 'classici' i baffi sono posti a:

$Q_1$$Q_3$

$Q_1$$Q_3$

Questa regola empirica è ad-hoc: la giustificazione è che se la parte non contaminata dei dati fosse approssimativamente gaussiana, meno dell'1% dei dati positivi verrebbe classificato come cattivo usando questa regola.

Un punto debole di questa regola di recinzione, come sottolineato dall'OP, è che la lunghezza dei due baffi è identica, il che significa che la regola di recinzione ha senso solo se la parte incontaminata dei dati ha una distribuzione simmetrica.

Un approccio popolare è quello di preservare la regola della recinzione e di adattare i dati. L'idea è di trasformare i dati usando una trasformazione monotona di correzione dell'inclinazione (radice quadrata o log o più in generale trasformazioni box-cox). Questo è un approccio un po 'disordinato: si basa sulla logica circolare (la trasformazione dovrebbe essere scelta in modo da correggere l'asimmetria della parte incontaminata dei dati, che è a questo stadio un non osservabile) e tende a rendere i dati più difficili da interpretare visivamente. Ad ogni modo, questa rimane una strana procedura in base alla quale si cambiano i dati per preservare quella che è dopo tutto una regola ad hoc.

Un'alternativa è quella di lasciare intatti i dati e modificare la regola del baffo. Il diagramma a scatola regolato consente di variare la lunghezza di ciascun baffo in base a un indice che misura l'asimmetria della parte incontaminata dei dati:

$Q_1$$\exp(M,\alpha)$$Q_3$$\exp(M,\beta)$

$M$$\alpha$ $\beta$

$M\approx 0$

$M$$M$$\alpha$$\beta$

$Q_1$$\exp(-4M)$$Q_3$$\exp(3M)$$M\geq 0$

$Q_1$$\exp(-3M)$$Q_3$$\exp(4M)$$M<0$