Chi ha creato la prima tabella normale standard?

Sto per introdurre la tabella normale standard nella mia classe di statistiche introduttive e questo mi ha fatto riflettere: chi ha creato la prima tabella normale standard? Come hanno fatto prima che arrivassero i computer? Rabbrividisco al pensiero di qualcuno che forza bruta calcolando a mano un migliaio di somme di Riemann.

— Daniel Smolkin
fonte

Bello vedere qualcuno che vuole avere un insegnamento storicamente informato.

— mdewey,

Risposte:

Laplace è stato il primo a riconoscere la necessità della tabulazione, presentando l'approssimazione:

\begin{aligned} G (x) & = \int_{x}^{\infty} e^{- t^{2}} d t \\ (1) & = \frac{1}{x} - \frac{1}{2 x^{3}} + \frac{1 \cdot 3}{4 x^{5}} - \frac{1 \cdot 3 \cdot 5}{8 x^{7}} + \frac{1 \cdot 3 \cdot 5 \cdot 7}{16 x^{9}} + \dots \end{aligned}

$\begin{align}G(x)&=\int_x^\infty e^{-t^2}dt\\[2ex]&=\small \frac1 x- \frac{1}{2x^3}+\frac{1\cdot3}{4x^5} -\frac{1\cdot 3\cdot5}{8x^7}+\frac{1\cdot 3\cdot 5\cdot 7}{16x^9}+\cdots\tag{1} \end{align}$

Il primo tavolo moderno della distribuzione normale fu in seguito costruito dall'astronomo francese Christian Kramp in Analizza le riforme astronomiche e terrestri (Par citoyen Kramp, Professeur de Chymie et of Physique expérimentale at the central center of Département de la Roer, 1799) . Da tabelle relative alla distribuzione normale: una breve storia Autore / i: Herbert A. David Fonte: The American Statistician, Vol. 59, n. 4 (novembre 2005), pagg. 309-311 :

Ambiziosamente, Kramp ha fornito tabelle otto decimali ( D) fino a D a D a e da D a insieme alle differenze necessarie per l'interpolazione. Scrivendo le prime sei derivate di usa semplicemente un'espansione della serie di Taylor di su con fino al termine inQuesto gli consente di procedere passo dopo passo da a moltiplicando per $8$ $x = 1.24,$ $9$ $1.50,$ $10$ $1.99,$ $11$ $3.00$ $G(x),$ $G(x + h)$ $G(x),$ $h = .01,$ $h^3.$ $x = 0$ $x = h, 2h, 3h,\dots,$ $h\,e^{-x^2}$
$1 - h x + \frac{1}{3} (2 x^{2} - 1) h^{2} - \frac{1}{6} (2 x^{3} - 3 x) h^{3} .$ $1-hx+ \frac 1 3 \left(2x^2 - 1\right)h^2 - \frac 1 6 \left(2x^3 - 3x\right)h^3.$ Pertanto, a questo prodotto si riduce a quindi a $x = 0$ $.01 (1 - \frac{1}{3} \times .0001) = .00999967,$ $.01 \left(1 - \frac 1 3 \times .0001 \right) = .00999967,$ $G(.01) = .88622692 - .00999967 = .87622725.$

⋮

$\vdots$

Ma ... quanto potrebbe essere accurato? OK, prendiamo come esempio: $2.97$

Sorprendente!

Passiamo all'espressione moderna (normalizzata) del pdf gaussiano:

Il pdf di è: $\mathscr N(0,1)$

f_{X} (X = x) = \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}} = \frac{1}{\sqrt{2 π}} e^{- {(\frac{x}{\sqrt{2}})}^{2}} = \frac{1}{\sqrt{2 π}} e^{- {(z)}^{2}}

$f_X(X=x)=\large \frac{1}{\sqrt{2\pi}}\,e^{-\frac {x^2}{2}}= \frac{1}{\sqrt{2\pi}}\,e^{-\left(\frac {x}{\sqrt{2}}\right)^2}= \frac{1}{\sqrt{2\pi}}\,e^{-\left(z\right)^2}$

dove . E quindi, . $z = \frac{x}{\sqrt{2}}$ $x = z \times \sqrt{2}$

Quindi andiamo su R e cerchiamo ... OK, non così in fretta. Innanzitutto dobbiamo ricordare che quando c'è una costante che moltiplica l'esponente in una funzione esponenziale , l'integrale verrà diviso per quell'esponente: . Dato che miriamo a replicare i risultati nelle vecchie tabelle, stiamo moltiplicando il valore di per , che dovrà apparire nel denominatore. $P_Z(Z>z=2.97)$ $e^{ax}$ $1/a$ $x$ $\sqrt{2}$

Inoltre, Christian Kramp non si è normalizzato, quindi dobbiamo correggere i risultati forniti da R di conseguenza, moltiplicando per . La correzione finale sarà simile a questa: $\sqrt{2\pi}$

\frac{\sqrt{2 π}}{\sqrt{2}} P (X > x) = \sqrt{π} P (X > x)

$\frac{\sqrt{2\pi}}{\sqrt{2}}\,\mathbb P(X>x)=\sqrt{\pi}\,\,\mathbb P(X>x)$

Nel caso sopra, e . Ora andiamo a R: $z=2.97$ $x=z\times \sqrt{2}=4.200214$

(R = sqrt(pi) * pnorm(x, lower.tail = F))
[1] 0.00002363235e-05

Fantastico!

Andiamo in cima al tavolo per divertimento, diciamo ... $0.06$

z = 0.06
(x = z * sqrt(2))

(R = sqrt(pi) * pnorm(x, lower.tail = F))
[1] 0.8262988

Cosa dice Kramp? . $0.82629882$

Così vicino...

Il fatto è ... quanto vicino, esattamente? Dopo aver ricevuto tutti i voti positivi, non ho potuto lasciare in sospeso la risposta effettiva. Il problema era che tutte le applicazioni di riconoscimento ottico dei caratteri (OCR) che ho provato erano incredibilmente fuori - non sorprende se hai dato un'occhiata all'originale. Così, ho imparato ad apprezzare Christian Kramp per la tenacia del suo lavoro mentre scrivevo personalmente ogni cifra nella prima colonna del suo Table Première .

Dopo un prezioso aiuto da parte di @Glen_b, ora potrebbe benissimo essere accurato, ed è pronto per essere copiato e incollato sulla console R in questo link GitHub .

Ecco un'analisi della precisione dei suoi calcoli. Preparati...

Differenza cumulativa assoluta tra i valori [R] e l'approssimazione di Kramp:

$0.000001200764$ - nel corso di calcoli, è riuscito ad accumulare un errore di circa milionesimo! $301$ $1$

Errore assoluto medio (MAE) omean(abs(difference))condifference = R - kramp:

$0.000000003989249$ - è riuscito a fare un oltraggiosamente ridicolo errori un miliardesimo in media! $3$

Alla voce in cui i suoi calcoli erano più divergenti rispetto a [R], il primo diverso valore decimale era in ottava posizione (centomilionesimo). In media (mediana) il suo primo "errore" è stato nella decima cifra decimale (decima miliardesima!). E, sebbene non fosse pienamente d'accordo con [R] in nessun caso, la voce più vicina non diverge fino alla tredici voce digitale.

Differenza relativa media o mean(abs(R - kramp)) / mean(R)(uguale a all.equal(R[,2], kramp[,2], tolerance = 0)):

$0.00000002380406$

Errore quadratico medio di radice (RMSE) o deviazione (dà più peso agli errori di grandi dimensioni), calcolato comesqrt(mean(difference^2)):

$0.000000007283493$

Se trovi una foto o un ritratto di Chistian Kramp, modifica questo post e inseriscilo qui.

— Antoni Parellada
fonte

È bello avere i due riferimenti diversi e penso che i dettagli aggiuntivi (come l'espansione esplicita che Laplace ha dato per la coda superiore) qui siano buoni.

— Glen_b,

Questo è ancora meglio con l'ultima modifica, ma non posso votare due volte: roba eccellente. Si noti che l'articolo di David spiega perché la tabella di Kramp non aveva accuratezza per tutte le cifre mostrate (è stato eseguito un piccolo errore nel primo passaggio) - ma è ancora più che sufficiente per la maggior parte delle applicazioni statistiche

— Glen_b

@ OlivierGrégoire Grazie per aver sottolineato la mia cifra decimale errata. Ora è stato corretto. Sono cresciuto in un'epoca in cui il francese era un must e non significava in alcun modo mancare di rispetto al mio bizzarro uso della lingua (c'è un riferimento lì dentro, ma non importa), che ho invertito. Per quanto riguarda "citoyen Kramp", un tentativo di evidenziare le forme storiche di introduzione nel documento.

— Antoni Parellada,

Ehi, mi dispiace che tu abbia pensato che questo fosse un commento violento. Stavo solo indicando delle cose, non sto assolutamente dicendo che non rispettavi nulla. Puoi punire o esagerare (o persino fare un riferimento), ovviamente. Ma da ragazzo di lingua francese, non l'ho capito (è quello che ho cercato di trasmettere, almeno). "Le citoyen Kramp" non ha avuto problemi: ho appena copiato e messo le virgolette, perché non era inglese. Scusa se hai sentito che era un commento sconcertante, non lo è. Anche il mio uso dell'inglese è carente. ^^ Il tuo confronto è stato ben fatto!

— Olivier Grégoire,

@ P.Windridge Scusa ... mi sono reso conto di avere un sacco di collegamenti ipertestuali rotti ...

— Antoni Parellada,

Secondo HA David [1] Laplace riconobbe la necessità di tabelle della distribuzione normale "già nel 1783" e la prima tabella normale fu prodotta da Kramp nel 1799.

Laplace ha suggerito due approssimazioni in serie, una per l'integrale da a di (che è proporzionale a una distribuzione normale con varianza ) e una per la coda superiore. $0$ $x$ $e^{-t^2}$ $\frac{_1}{^2}$

Tuttavia, Kramp non ha usato queste serie di Laplace, poiché negli intervalli c'era un divario per il quale potevano essere utilmente applicate.

In effetti, inizia con l'integrale per l'area di coda da 0 e quindi applica un'espansione di Taylor sull'ultimo integrale calcolato - ovvero, mentre calcola nuovi valori nella tabella, sposta la della sua espansione di Taylor di (dove è l'integrale che dà l'area della coda superiore). $x$ $G(x+h)$ $G$

Per essere precisi, citando la coppia pertinente di frasi:

usa semplicemente un'espansione in serie di Taylor di su , con , fino al termine in . Questo gli consente di procedere passo dopo passo da a , moltiplicando perPertanto, a questo prodotto si riduce a modo che a . Il termine successivo a sinistra di (4) può essere mostrato come , quindi la sua omissione è giustificata. $G(x + h)$ $G(x)$ $h = .01$ $h^3$ $x = 0$ $x = h, 2h, 3h,...$ $he^{-x^2}$
$1 - h x + \frac{1}{3} (2 x^{2} - 1) h^{2} - \frac{1}{6} (2 x^{3} - 3 x) h^{3} .$ $1-hx+ \frac13(2x^2 - 1)h^2 - \frac16(2x^3 - 3x)h^3.$ $x = 0$ $.01 (1 - \frac{1}{3} \times .0001) = .00999967, (4)$ $.01 (1 - \frac13 \times .0001 ) = .00999967,\qquad\qquad (4)$ $G(.01) = .88622692 - .00999967 = .87622725$ $10^{-9}$

David indica che i tavoli erano ampiamente usati.

Quindi, anziché migliaia di somme di Riemann, sono state centinaia le espansioni di Taylor.

In una nota più piccola, in un pizzico (bloccato solo con una calcolatrice e alcuni valori ricordati dalla tabella normale) ho applicato con successo la regola di Simpson (e le relative regole per l'integrazione numerica) per ottenere una buona approssimazione ad altri valori; non è tutto che noioso per produrre una tabella abbreviato * a poche figure di precisione. [Per produrre tabelle della scala e della precisione di Kramp sarebbe un compito abbastanza grande, anche se usando un metodo più intelligente, come ha fatto lui.]

* Per tabella abbreviata, intendo quella in cui puoi sostanzialmente cavartela con l'interpolazione tra valori tabulari senza perdere troppa precisione. Se vuoi solo dire una precisione di circa 3 cifre, non hai davvero bisogno di calcolare tutti quei valori. Ho effettivamente usato l'interpolazione polinomiale (più precisamente, tecniche di differenza finita applicate), che consente una tabella con meno valori dell'interpolazione lineare - se un po 'più di sforzo nella fase di interpolazione - e ho anche fatto interpolazione con una trasformazione logit, che rende l'interpolazione lineare notevolmente più efficace, ma è molto utile solo se si dispone di una buona calcolatrice).

[1] Herbert A. David (2005),
"Tabelle relative alla distribuzione normale: una breve storia"
The American Statistician , Vol. 59, n. 4 (novembre), pagg. 309-311

[2] Kramp (1799),
Analyse des Réfractions Astronomiques et Terrestres,
Lipsia: Schwikkert

— Glen_b
fonte

Problema interessante! Penso che la prima idea non sia nata attraverso l'integrazione di una formula complessa; piuttosto, il risultato dell'applicazione degli asintotici in combinatoria. Il metodo carta e penna può richiedere diverse settimane; non così duro per Karl Gauss rispetto al calcolo della torta per i suoi predecessori. Penso che l'idea di Gauss fosse coraggiosa; il calcolo è stato facile per lui.

Esempio di creazione di una tabella z standard da zero-
1. Prendi una popolazione di n (diciamo che n è 20) numeri ed elenca tutti i possibili campioni di dimensione r (diciamo che r è 5) da quello.
2. calcolare le medie del campione. Ottieni medie di esempio nCr (qui, 20c5 = 15504 significa).
3. La loro media è uguale alla media della popolazione. Trova lo stdev dei mezzi di esempio.
4. Trova i punteggi z dei mezzi di campionamento usando quei mezzi pop e stdev dei mezzi di campionamento.
5. Ordinare z in ordine crescente e trovare la probabilità che z si trovi in un intervallo nei valori nCr z.
6. Confronta i valori con le normali tabelle. N più piccolo è buono per i calcoli manuali. Una n maggiore produrrà approssimazioni più vicine ai valori normali della tabella.

Il seguente codice è in r:

n <- 20  
r <- 5  

p <- sample(1:40,n)  # Don't be misled!! Here, 'sample' is an r function  
                     used to produce n random numbers between 1 and 40.  
                     You can take any 20 numbers, possibly all different.  

c <- combn(p, r)     # all the nCr samples listed  
cmean <- array(0)  

for(i in 1:choose(n,r)) {  
    cmean[i] <- mean(c[,i])  
                }  

z <- array(0)  
for(i in 1:choose(n,r)) {  
    z[i] <- (cmean[i]-mean(c))/sd(cmean)  
                }  

ascend <- sort(z, decreasing = FALSE)

Probabilità di z che cade tra 0 e valore positivo q sotto; confrontare con una tabella nota. Manipola q sotto tra 0 e 3.5 per confrontare.

q <- 1  
probability <- (length(ascend[ascend<q])-length(ascend[ascend<0]))/choose(n,r)   
probability   # For example, if you use n=30 and r=5, then for q=1, you  
              will get probability is 0.3413; for q=2, prob is 0.4773

— Md Towhidul Islam
fonte

Non vedo come il campionamento possa essere utilizzato in questo modo per generare le tabelle. Penso che l'OP volesse solo sapere chi era la prima persona

— Michael Chernick il

Grazie per il tuo prezioso commento Michael Chernick. 1) L'OP scrive "Come hanno fatto prima che arrivassero i computer? Rabbrividisco al pensiero di qualcuno che bruta la forza informatica che calcola mille somme di Riemann a mano." Ho provato a rispondere a quella parte. 2) Il termine "campione" non è di per sé un campione, è una funzione r per produrre un elenco di numeri casuali. Possiamo semplicemente prendere qualsiasi numero 20 al posto. Vedere la r collegamento di supporto qui stackoverflow.com/questions/17773080/...

— Md Towhidul Islam