Come calcolare la probabilità associata a punteggi Z assurdamente grandi?

I pacchetti software per il rilevamento di motivi di rete possono restituire punteggi Z estremamente alti (il più alto che ho visto è 600.000+, ma punteggi Z più di 100 sono abbastanza comuni). Ho intenzione di dimostrare che questi punteggi Z sono falsi.

Enormi punteggi Z corrispondono a probabilità associate estremamente basse. I valori delle probabilità associate sono indicati, ad esempio, nella normale pagina di Wikipedia di distribuzione (e probabilmente in ogni manuale di statistiche) per punteggi Z fino a 6. Quindi ...

Domanda : Come si calcola la funzione di errore $1-\mathrm{erf}(n/\sqrt{2})$per n fino a 1.000.000, diciamo?

Sto particolarmente dopo un pacchetto già implementato per questo (se possibile). Il migliore che ho trovato finora è WolframAlpha, che riesce a calcolarlo per n = 150 ( qui ).

La domanda riguarda la funzione di errore complementare

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

per valori "grandi" di ($x$$=n/\sqrt{2}$ nella domanda originale), ovvero tra 100 e 700.000 circa. (In pratica, qualsiasi valore maggiore di circa 6 dovrebbe essere considerato "grande", come vedremo.) Si noti che poiché questo verrà utilizzato per calcolare i valori p, c'è poco valore nell'ottenere più di tre cifre (decimali) significative .

Per iniziare, considera l'approssimazione suggerita da @Iterator,

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

dove

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

Anche se questa è un'approssimazione eccellente per la stessa funzione di errore, è un'approssimazione terribile di . Tuttavia, c'è un modo per sistemarlo sistematicamente.$\textrm{erfc}$

Per i valori p associati a valori così grandi di , siamo interessati all'errore relativo : speriamo che il suo valore assoluto sia inferiore a 0,001 per tre significativi cifre di precisione. Sfortunatamente questa espressione è difficile da studiare per grandi a causa di underflow nel calcolo a doppia precisione. Ecco un tentativo, che traccia l'errore relativo rispetto a per :f ( x ) / erfc ( x ) - 1 x x 0 ≤ x ≤ $x$ $f(x)/\textrm{erfc}(x) - 1$$x$$x$$0 \le x \le 5.8$

Il calcolo diventa instabile quando supera 5,3 o giù di lì e non può fornire una cifra significativa oltre 5,8. Non è una sorpresa: sta spingendo i limiti dell'aritmetica a doppia precisione. Perché non ci sono prove che l'errore relativo sarà accettabilmente piccolo per più grandeexp ( - 5,8 2 ) ≈ 10 - 14,6$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$ , dobbiamo fare di meglio.

L'esecuzione del calcolo in aritmetica estesa (con Mathematica ) migliora la nostra immagine di ciò che sta succedendo:

L'errore aumenta rapidamente con e non mostra segni di livellamento. Passatox = $x$$x=10$ o giù di lì, questa approssimazione non fornisce nemmeno una cifra affidabile di informazioni!

Tuttavia, la trama inizia a sembrare lineare. Potremmo supporre che l'errore relativo sia direttamente proporzionale a . (Ciò ha senso su basi teoriche: è manifestamente una funzione dispari e è manifestamente pari, quindi il loro rapporto dovrebbe essere una funzione dispari. Quindi ci aspetteremmo che l'errore relativo, se aumenta, si comporti come un potere dispari di .) Questo ci porta a studiare l'errore relativo diviso per . Allo stesso modo, scelgo di esaminare , perché la speranza è che questo abbia un valore limite costante. Ecco il suo grafico:erfc f x x x ⋅ erfc ( x ) / f ( x $x$$\textrm{erfc}$$f$$x$ $x$$x \cdot \textrm{erfc}(x)/f(x)$

La nostra ipotesi sembra confermata: questo rapporto sembra avvicinarsi a un limite di circa 8 circa. Alla domanda, Mathematica lo fornirà:

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

Il valore è . Questo ci consente di migliorare il preventivo:$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$ prendiamo

$$f_1(x) = f(x) \frac{a_1}{x}$$

come primo raffinamento dell'approssimazione. Quando è veramente grande - maggiore di qualche migliaio - questa approssimazione va bene. Poiché non sarà ancora abbastanza buono per una serie interessante di argomenti tra e o giù di lì, ripetiamo la procedura. Questa volta, l'errore relativo inverso, in particolare l'espressione dovrebbe comportarsi come per grande (in virtù delle precedenti considerazioni sulla parità) . Di conseguenza, moltiplichiamo per e troviamo il prossimo limite:5.3 2000 1 - erfc ( x ) / f 1 ( x ) 1 / x 2 x x $x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

Il valore è

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

Questo processo può procedere finché lo desideriamo. L'ho fatto un altro passo, trovando

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

con un valore di circa 1623,67. (L'espressione completa implica una funzione razionale di grado otto di ed è troppo lunga per essere utile qui.)$\pi$

Svolgere queste operazioni produce la nostra approssimazione finale

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

L'errore è proporzionale a . Di importazione è la costante di proporzionalità, quindi tracciamo : x 6 ( 1 - erfc ( x ) / f 3 ( x ) $x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

Si avvicina rapidamente a un valore limite intorno a 2660,59. Usando l'approssimazione , otteniamo stime di cui accuratezza relativa è migliore di per tutti . Una volta che supera 20 o giù di lì, abbiamo le nostre tre cifre significative (o molto di più, poiché diventa più grande). Come controllo, ecco una tabella che confronta i valori corretti con l'approssimazione per tra e :erfc ( x ) 2661 / x 6 x > 0 x x x 10 $f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

In effetti, questa approssimazione fornisce almeno due cifre significative di precisione per in poi, che è quasi dove i calcoli pedonali (come la funzione di Excel ) si esauriscono.$x=8$NormSDist

Infine, ci si potrebbe preoccupare della nostra capacità di calcolare l'approssimazione iniziale . Tuttavia, non è difficile: quando$f$$x$ è abbastanza grande da causare underflow nell'esponenziale, la radice quadrata è ben approssimata della metà dell'esponenziale,

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

Il calcolo del logaritmo di questo (nella base 10) è semplice e fornisce facilmente il risultato desiderato. Ad esempio, lascia$x=1000$ . Il logaritmo comune di questa approssimazione è

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

Rendimenti esponenziali

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

Applicazione della correzione (in$f_3$ ) produce

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

Si noti che la correzione riduce l'approssimazione originale di oltre il 99% (e in effetti .) (Questa approssimazione differisce dal valore corretto solo nell'ultima cifra. Un'altra approssimazione ben nota, , uguale a , nella sesta cifra significativa. Sono sicuro che potremmo migliorare anche quella, se voluto, usando le stesse tecniche.)$a_1/x \approx 1\text{%}$$\exp(-x^2)/(x\sqrt{\pi})$$1.860038 \cdot 10^{-434298}$

Un semplice limite superiore

Per valori molto grandi dell'argomento nel calcolo della probabilità di coda superiore di un normale, esistono limiti eccellenti che sono probabilmente buoni come uno otterrà usando qualsiasi altro metodo con virgola mobile a precisione doppia. Per , supponiamo dove è il pdf normale standard. Ho usato la notazione in riferimento alla notazione standard nell'analisi di sopravvivenza. In contesti ingegneristici, chiamano questa funzione la funzione e la indicano con .$z > 0$

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$$S(z)$$Q$$Q(z)$

Quindi, un limite superiore elementare molto semplice è dove la notazione sul lato destro indica che si tratta di una stima con limite superiore. Questa risposta fornisce una prova del limite.

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$

Ci sono anche molti bei limiti inferiori complementari. Uno dei più utili e facili da derivare è il limite Esistono almeno tre metodi separati per derivare questo limite. Un abbozzo di uno di questi metodi può essere trovato in questa risposta a una domanda correlata.

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$

Una foto

Di seguito è riportato un grafico dei due limiti (in grigio) insieme alla funzione effettiva .$S(z)$

Quanto è buono?

Dalla trama, sembra che i limiti diventino abbastanza stretti anche per moderatamente grande . Potremmo chiederci quanto siano stretti e che tipo di affermazione quantitativa al riguardo possa essere fatta.$z$

Una utile misura di tenuta è l'errore relativo assoluto Questo ti dà l'errore proporzionale del preventivo.

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$

Ora, nota che, poiché tutte le funzioni coinvolte sono non negative, usando le proprietà di delimitazione di e , otteniamo e quindi questo fornisce una prova che per il limite superiore è corretto entro l'1%, per è corretto entro lo 0,1% e per è corretto entro lo 0,01%.$\Su(z)$$\Sl(z)$

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ $z \geq 10$$z \geq 28$$z \geq 100$

In effetti, la forma semplice dei limiti fornisce un buon controllo su altre "approssimazioni". Se, nel calcolo numerico di approssimazioni più complicate, otteniamo un valore al di fuori di questi limiti, possiamo semplicemente "correggerlo" per prendere il valore, ad esempio, del limite superiore fornito qui.

Ci sono molti perfezionamenti di questi limiti. I limiti di Laplace menzionati qui forniscono una bella sequenza di limiti superiore e inferiore su della forma dove$S(z)$$R(z) \varphi(z)$$R(z)$ è una funzione razionale.

Infine, ecco un'altra domanda e risposta in qualche modo correlata.

Puoi approssimarlo con funzioni molto più semplici - vedi questa sezione di Wikipedia per maggiori informazioni. L'approssimazione di base è che$\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

L'articolo ha un link errato per quella sezione. Il PDF a cui si fa riferimento è disponibile nei file di Sergei Winitzki - o a questo link .