Le statistiche non sono matematica?


20

Le statistiche sono matematiche o no?

Dato che sono tutti numeri, per lo più insegnati dai dipartimenti di matematica e ottieni crediti matematici per questo, mi chiedo se le persone lo significano solo in modo scherzoso quando lo dicono, come dire che è una parte minore della matematica o semplicemente applicata.

Mi chiedo se qualcosa come le statistiche, in cui non è possibile costruire tutto sugli assiomi di base, possa essere considerato matematica. Ad esempio, il -value, che è un concetto nato per dare un senso ai dati, ma non è una conseguenza logica di principi più basilari.p


10
Riferimento XKCD obbligatorio: xkcd.com/435 . Ad ogni modo, importa davvero?
nico,

2
(i) Come potremmo quantificare tali cose? Non è come se fosse stato oggetto di un sondaggio! (ii) I calcoli coinvolgono quasi sempre i numeri, ma ciò che lo rende statistico , a mio avviso, di solito non è nei calcoli . (iii) Quando ho fatto la mia laurea in statistica, non era nel dipartimento di matematica. Il posto in cui ho fatto il mio dottorato di ricerca - sotto due statistici abbastanza noti - non era neanche un dipartimento di matematica. (iv) Non penso sia uno scherzo. Si riferisce a un'idea molto importante: che ciò che rende le statistiche "statistiche" riguarda più un modo di ragionare su particolari tipi di problemi.
Glen_b

6
Mi sento obbligato a dare una risposta breve, dato che sono un ex matematico puro (dottorato di ricerca e 3,5 anni di specializzazione post-dottorato in una sorta di algebra), e ora uno statistico applicato ... beh, il tipo di statistiche che impari per le statistiche applicate, come " quando posso utilizzare un -test" o cosa no, per un matematico, si presenta come un libro di ricette, non è come la matematica. Ma, per esempio, le Statistiche asintotiche di van der Vaart sono sicuramente un libro di matematica ... Ci sono molti livelli intermedi - alcuni di essi non sono ben popolati, penso che non ci siano abbastanza libri che spiegano le statistiche con molti esempi reali e tutto il matematico dettagli. t
Elvis,

5
Non so cosa fare dell'affermazione, "il -value, che è un concetto nato per dare un senso ai dati, ma non è una conseguenza logica di principi più basilari", non sono nemmeno sicuro che può davvero essere giusto o sbagliato. Sembra principalmente procedere da premesse confuse. p
gung - Ripristina Monica

12
@Guy Per analogia, potremmo caratterizzare la chimica (un'altra "disciplina matematica") come teoria della distribuzione asintotica e algebre C *. Farlo è nominalmente accurato ma manca così completamente l'essenza di ciò che è chimica e i suoi obiettivi che nessun chimico lo riconoscerebbe. Allo stesso modo, contrapponi la tua caratterizzazione a ciò che le principali società professionali dicono che la statistica è : sono mondi separati. "La scienza dell'apprendimento dai dati e della misurazione, del controllo e della comunicazione dell'incertezza." Non una menzione di probabilità lì.
whuber

Risposte:


15

La matematica si occupa di astrazioni idealizzate che (quasi sempre) hanno soluzioni assolute, o il fatto che tale soluzione non esiste esiste generalmente può essere completamente descritto. È la scienza di scoprire conseguenze complesse ma necessarie da semplici assiomi.

La statistica usa la matematica, ma non è la matematica. Sono congetture istruite. È un gioco d'azzardo.

La statistica non si occupa delle astrazioni idealizzate (sebbene ne usi alcuni come strumenti), si occupa dei fenomeni del mondo reale. Gli strumenti statistici spesso fanno ipotesi semplificative per ridurre i disordinati dati del mondo reale a qualcosa che si adatta al dominio problematico di un'astrazione matematica risolta. Questo ci consente di fare ipotesi ponderate, ma questo è davvero tutto ciò che la statistica è: l'arte di fare ipotesi molto ben informate.

Considera il test di ipotesi con valori p. Diciamo che stiamo testando alcune ipotesi con significato , e dopo aver raccolto i dati troviamo un valore p di . Quindi respingiamo l'ipotesi nulla a favore di un'ipotesi alternativa.0,001α=0.010.001

Ma cos'è davvero questo valore p? Qual è il significato? La nostra statistica di test è stata sviluppata in modo tale da conformarsi a una particolare distribuzione, probabilmente quella degli studenti. Sotto l'ipotesi nulla, il percentile della nostra statistica test osservata è il valore p. In altre parole, il valore p dà la probabilità che otterremmo un valore lontano dalle aspettative della distribuzione (o più lontano) della statistica del test osservata. Il livello di significatività è un limite della regola empirica abbastanza arbitrario: impostarlo su equivale a dire "è accettabile se 1 ripetizione su 100 di questo esperimento suggerisca di rifiutare il nulla, anche se il valore nullo è effettivamente vero. "0.01

Il valore p ci dà la probabilità che osserviamo i dati a portata di mano dato che il valore nullo è vero (o meglio, diventando un po 'più tecnico, che osserviamo i dati sotto l'ipotesi nulla che ci dà almeno un valore estremo del valore statistica testata come quella che abbiamo trovato). Se rifiuteremo il null, vogliamo che questa probabilità sia piccola, avvicinandoci a zero. Nel nostro esempio specifico, abbiamo scoperto che la probabilità di osservare i dati raccolti se l'ipotesi nulla fosse vera era solo dello , quindi abbiamo rifiutato il valore nullo. Questa era un'ipotesi colta. Non abbiamo mai veramente sappiamo per certo che l'ipotesi nulla è falsa utilizzando questi metodi, dobbiamo solo sviluppare una misura per quanto fortemente la nostra prova sostiene l'alternativa.0.1%

Abbiamo usato la matematica per calcolare il valore p? Sicuro. Ma la matematica non ci ha dato la nostra conclusione. Sulla base delle prove, abbiamo formulato un'opinione istruita, ma è ancora una scommessa. Abbiamo trovato questi strumenti estremamente efficaci negli ultimi 100 anni, ma le persone del futuro potrebbero meravigliarsi con orrore della fragilità dei nostri metodi.


6
Il valore p non è la probabilità che ci sbagliamo quando rifiutiamo l'ipotesi nulla, poiché dipende anche da H1 che non entra nel calcolo del valore p (ben illustrato da i.stack.imgur.com/tStr4 .png - la probabilità che H0 sia errata e che il sole sia esploso è piuttosto inferiore a p = 1/36).
Dikran Marsupial,

Potresti suggerire una migliore interpretazione linguistica del valore p? "La probabilità che osserviamo i dati a portata di mano dato il null è vera" forse? Ho già approfondito l'esempio p-value più di quanto volessi. La mia intenzione era di fare un punto sulle statistiche, non di fornire un tutorial sull'interpretazione dei valori-p. Non voglio essere deragliato. Grazie per averlo sottolineato, in ogni caso.
David Marx,

2
Il valore p è la probabilità di un risultato almeno altrettanto estremo di quello osservato se l'ipotesi nulla è vera. Il punto che il legame tra la plausibilità dell'ipotesi nulla e il valore p essendo ampiamente soggettivo, piuttosto che una necessità logica, è comunque un buon punto (+1). Ultimamente mi chiedevo se il test dell'ipotesi del frequentista fosse meno soggettivo dell'approccio bayesiano, dove almeno la soggettività è resa più esplicita.
Dikran Marsupial,

Non mi è chiaro come la tua interpretazione / definizione del valore p differisca dall'alternativa che ho offerto nel mio ultimo commento. C'è sicuramente un certo grado di soggettività nel test delle ipotesi del frequentista, ma è lo stesso tipo di soggettività che viene invocata nell'interpretazione di un fattore di Bayes. E non è come se il livello di significatività non fosse comunicato (cioè la soggettività è resa esplicita anche qui), è spesso scelta in base alla convenzione, mentre di solito c'è più pensiero messo nella scelta dei priori bayesiani (informativi).
David Marx,

1
@David: il "almeno altrettanto estremo" fa una grande differenza - la probabilità del valore osservato sotto il valore nullo non è in generale il valore p, anche per statistiche di test discrete dove ha senso. So che è tangenziale al punto che stavi facendo, ma se Wikipedia riesce a farlo bene, dovremmo essere in grado di eseguire la convalida incrociata.
Scortchi - Ripristina Monica

10

Lingua saldamente nella guancia:

Apparentemente Einstein ha scritto

Quanto alle leggi della matematica si riferiscono alla realtà, non sono certe; e per quanto ne sono certi, non si riferiscono alla realtà.

quindi la statistica è la branca della matematica che descrive la realtà. ; O)

Direi che la statistica è un ramo della matematica allo stesso modo in cui la logica è un ramo della matematica. Comprende certamente un elemento di filosofia, ma non credo che sia l'unica branca della matematica in questo caso (vedi ad esempio Morris Kline, "Mathematics - The Loss of Certainty", Oxford University Press, 1980).


2
La logica è una branca della matematica? Comprese logiche a tre valori e logiche modali o solo calcoli predicati del primo ordine? Tutte le scienze formali sono in qualche modo matematica?
Scortchi - Ripristina Monica

Vorrei che lo studio di qualsiasi sistema per manipolare i simboli secondo una serie di regole (ad esempio linguaggi formali) fosse una varietà di matematica, quindi sì, suppongo che probabilmente lo farei. Il problema con le etichette è che non sono sempre completamente descrittivi di tutto ciò a cui vengono applicati (non direi che ero esattamente un matematico, uno statistico o un informatico, ma ho alcuni aspetti di tutti e tre). Allo stesso modo la stessa cosa può essere spesso collocata in più di una gerarchia, quindi forse non esiste una soluzione unica alla domanda!
Dikran Marsupial,

Secondo la tua argomentazione, la statistica, come una descrizione della realtà, comprende anche la geometria e la teoria dei campi quantistici, ma non include il test delle ipotesi (perché la maggior parte delle ipotesi sono controfattuali - sono destinate a essere falsificate - e quindi chiaramente non "descrivi la realtà").
whuber

La citazione di Einstein era la lingua nella guancia e non doveva essere presa sul serio; Sono abbastanza sicuro che non sia proprio quello che Einstein aveva in mente!
Dikran Marsupial,

5

Bene, se dici che " qualcosa come le statistiche, dove non puoi costruire tutto sugli assiomi di base ", probabilmente dovresti leggere della teoria assiomatica della probabilità di Kolmogorov. Kolmogorov definisce la probabilità in modo astratto e assiomatico come puoi vedere in questo pdf a pagina 42 o qui in fondo alla pagina 1 e alle pagine successive .

Solo per darti un assaggio delle sue definizioni astratte, definisce una variabile casuale come una funzione "misurabile", come spiegato qui in un modo più "intuitivo": se una variabile casuale è una funzione, come possiamo definire una funzione di un variabile casuale

Con un numero molto limitato di assiomi e utilizzando i risultati della (ancora matematica) teoria delle misure, può definire concetti come variabili casuali, distribuzioni, probabilità condizionale, ... in modo astratto e ricavare tutti i risultati ben noti come la legge di grandi numeri, ... da questo insieme di assiomi. Ti consiglio di provarlo e rimarrai sorpreso dalla sua bellezza matematica.

Per una spiegazione sui valori di p mi riferisco a: fraintendere un valore di P?


1
Non esiste ancora un'importante distinzione tra Probability Theory (Maths) e la sua applicazione ai problemi di inferenza (Statistics)? Gli approcci bayesiano e frequentista mostrano lo stesso apparato matematico ( tipicamente o quasi ) usato con concetti di probabilità abbastanza diversi.
Scortchi - Ripristina Monica

@Scortchi: non sono sicuro che i concetti di probabilità siano diversi per frequentisti e bayesiani; vedi stats.stackexchange.com/questions/230415/…

Non vedo alcun disaccordo tra il mio commento e la tua risposta a C'è qualche base matematica per il dibattito bayesiano vs frequentista? . Per "apparato matematico" intendo ciò che segue dagli assiomi di Kolmogorov; per "concetti" intendo le interpretazioni come frequenza limitante, grado di credenza, ecc.
Scortchi - Ripristina Monica

3

Non ho basi rigorose o filosofiche per rispondere a questa domanda, ma ho sentito spesso la lamentela "statistiche non è matematica" da parte di persone, di solito di tipo fisico. Penso che le persone vogliano garantire certezza dalla propria matematica e la statistica (di solito) offre solo conclusioni probabilistiche con valori p associati. In realtà, questo è esattamente ciò che amo delle statistiche. Viviamo in un mondo fondamentalmente incerto e facciamo del nostro meglio per capirlo. E facciamo un ottimo lavoro, tutto sommato.


2

Forse è perché sono un plebe e non ho seguito corsi avanzati di matematica, ma non vedo perché la statistica non sia matematica. Gli argomenti qui e su una domanda duplicata sembrano sostenere due punti principali sul perché la statistica non è matematica * .

  1. Non è esatto / certo, e come tale si basa su ipotesi.
  2. Applica la matematica ai problemi e ogni volta che applichi la matematica non è più la matematica.

Non è esatto e usa ipotesi

Ipotesi / approssimazioni sono utili per molta matematica.

Le proprietà di un triangolo di cui ho appreso nella scuola elementare credo siano considerate vere matematiche, anche se non sono valide nella geometria non elucidea. Quindi chiaramente un'ammissione dei limiti, o dichiarata in un altro modo "supponendo che XYZ sia valido", a un ramo della matematica non esclude che il ramo sia "vero".

Il calcolo sono certo che sarebbe considerato una forma pura di matematica, ma i limiti sono lo strumento principale su cui lo abbiamo costruito. Possiamo continuare a calcolare fino al limite, così come possiamo continuare ad aumentare le dimensioni di un campione, ma nessuno dei due fornisce una visione approfondita oltre una certa soglia.

Una volta applicata la matematica non è matematica

L'ovvia contraddizione qui è che usiamo la matematica per dimostrare i teoremi matematici, e nessuno sostiene che provare i teoremi matematici non sia matematica.

La prossima affermazione potrebbe essere che thing xnon è matematica se usi la matematica per ottenere un risultato. Neanche questo ha alcun senso.

L'affermazione con cui concordo è che quando si utilizzano i risultati di un calcolo per prendere una decisione, la decisione non è matematica . Ciò non significa che l'analisi che porta alla decisione non sia matematica .

Penso che quando usiamo l'analisi statistica tutta la matematica eseguita è vera matematica. È solo una volta che consegniamo i risultati a qualcuno per l'interpretazione, la statistica esce dalla matematica. Come tali statistiche e statistici stanno facendo matematica reale e sono veri matematici. È l'interpretazione fatta dall'azienda e / o la traduzione dei risultati nell'impresa da parte dello statistico che non è matematica.

Dai commenti:

whuber ha detto:

Se dovessi sostituire "statistiche" con "chimica", "economia", "ingegneria" o qualsiasi altro campo che impieghi la matematica (come l'economia domestica), sembrerebbe che nessuna delle tue argomentazioni cambierebbe.

Penso che la differenza chiave tra "chimica", "ingegneria" e "bilanciamento del mio libretto degli assegni" sia che quei campi usano solo concetti matematici esistenti . Comprendo che statistici come Guass hanno ampliato il corpus di concetti matematici. Credo (questo potrebbe essere palesemente sbagliato) che per guadagnare un dottorato in statistica devi contribuire, in qualche modo, ad espandere il corpus di concetti matematici. I dottorandi in chimica / ingegneria non hanno questo requisito per quanto ne so.

La distinzione che la statistica contribuisce al corpo dei concetti matematici è ciò che lo distingue dagli altri campi che usano semplicemente concetti matematici .


*: L'eccezione notevole è questa risposta che afferma efficacemente che i confini sono artificiali a causa di vari motivi sociali. Penso che sia l'unica vera risposta, ma dov'è il divertimento in questo? ;)


1
Se dovessi sostituire "statistiche" con "chimica", "economia", "ingegneria" o qualsiasi altro campo che impieghi la matematica (come l'economia domestica), sembrerebbe che nessuna delle tue argomentazioni cambierebbe. Come tale sembra essere privo di sostanza.
whuber

I dottorandi in statistica non devono "contribuire al corpus di concetti matematici". La maggior parte dei dottorati in statistica sono assegnati per contributi alla metodologia statistica e alla teoria statistica . (Pochi matematici, se ve ne sono, prestano attenzione alla letteratura statistica. Semplicemente non è una buona fonte di idee matematiche nuove o fruttuose in generale. Qui non mi riferisco alla letteratura nella teoria della probabilità.) Inoltre, chimici, ingegneri, fisici , ecc. spesso creano (o, di solito, ricreano) idee matematiche nel loro lavoro; che non trasforma automaticamente i loro campi in rami della matematica.
whuber

@whuber Questo è molto interessante. Sembra che non abbia una gamba su cui stare.
Erik,

1
Per la cronaca, non ho effettuato il downgrade del tuo contributo. Questo è un argomento delicato per molti - per esempio, molti dipartimenti di matematica del college stanno ancora cercando di trattare gli statistici come matematici, a scapito di entrambi - e quindi è probabile che susciti alcune forti reazioni.
whuber

2
@whuber Sono abbastanza duro da sopportare qualche voto negativo a prescindere. :) Penso che tu sia stato rispettoso in ogni momento, quindi non preoccuparti. Oltre a votare è anonimo per un motivo. Non c'è bisogno di andare sul registro.
Erik,

2

Test statistici, modelli e strumenti di inferenza sono formulati nel linguaggio della matematica e gli statistici hanno matematicamente dimostrato libri spessi di risultati molto importanti e interessanti su di loro. In molti casi, le prove forniscono prove convincenti che gli strumenti statistici in questione sono affidabili e / o potenti.

La statistica e la sua comunità potrebbero non essere abbastanza "pure" per i matematici di un certo gusto, ma sono decisamente investiti nella matematica in modo estremamente profondo, e la statistica teorica è tanto un ramo della matematica quanto la fisica teorica o l'informatica teorica.


2
Ciao Paul, come dici tu, le statistiche sono piene di bei teoremi e prove (+1), c'è persino una teoria assiomatica della probabilità, sviluppata da Kolmogorov, come spiego nella mia risposta.

-2

La "differenza" si basa su: ragionamento induttivo vs. ragionamento deduttivo vs. inferenza. Ad esempio, nessun teorema matematico può dire quale distribuzione o prima è possibile utilizzare per i propri dati / modello.

A proposito, la statistica bayesiana è un'area assiomatizzata.


Anche la matematica ha bisogno di un ragionamento induttivo ...
Elvis,

@Elvis Sì, ecco perché il mio esempio ... Sono sicuro che sai che non esiste una risposta generale a questa domanda ... Ho modificato la risposta, per tuo piacere ...
Compay Segundo,

Davvero non capisco il tuo punto.
Elvis,

@CompaySegundo: non sono sicuro che tu abbia un punto valido qui, almeno, non è chiaramente indicato.
Quora Feans,

1
@QuoraFea Probabilmente sono troppo ubriaco ...
Compay Segundo,

-2

Questa potrebbe essere un'opinione molto impopolare, ma data la storia e la formulazione dei concetti di statistica (e teoria della probabilità), considero la statistica un sottosuolo della fisica .

In effetti, Gauss inizialmente formalizzò il modello di regressione dei minimi quadrati nelle previsioni astronomiche. La maggior parte dei contributi alle statistiche prima di Fisher provenivano da fisici (o matematici altamente applicati il ​​cui lavoro sarebbe chiamato Fisica dagli standard odierni): Lyapunov, De Moivre, Gauss e uno o più dei Bernoullis.

Il principio generale è la caratterizzazione degli errori e l'apparente casualità propagata da un numero infinito di fonti di variazione non misurate. Man mano che gli esperimenti diventavano più difficili da controllare, gli errori sperimentali dovevano essere descritti e spiegati formalmente per calibrare la preponderanza delle prove sperimentali rispetto al modello matematico proposto. Più tardi, mentre la fisica delle particelle si addentrava nella fisica quantistica , la formalizzazione delle particelle come distribuzioni casuali ha dato un linguaggio molto più conciso per descrivere la casualità apparentemente incontrollabile con fotoni ed elettroni.

Le proprietà degli stimatori come la loro media (centro di massa) e deviazione standard (secondo momento di deviazioni) sono molto intuitive per i fisici. La maggior parte dei teoremi limite può essere liberamente collegata alla legge di Murphy, ovvero che la distribuzione normale limitante è la massima entropia.

Quindi la statistica è un sottogruppo di fisica.


5
Questa tesi è tanto plausibile quanto illogica. Come sottolinea Stephen Stigler nei suoi libri, psicologi, economisti e la maggior parte degli altri scienziati sociali non hanno adottato i metodi dei fisici per un altro secolo a causa di dubbi reali sulla loro applicabilità e sulla loro interpretazione. Questa è la prova prima facie che la statistica è molto più di una branca della fisica. Altre discipline, che vanno dall'ingegneria alla biologia, impiegano anche metodi fisici e teorie fisiche, ma ciò non li rende neppure rami della fisica - almeno non in modo significativo o perspicace.
whuber

L'interesse dei Bernoulli per la probabilità non derivava dal gioco d'azzardo piuttosto che dalla fisica?
Dikran Marsupial,

@whuber Come per il mio campo, la biostatistica, sono profondamente consapevole che queste scienze applicate esistevano in varie forme prima della loro distinta identificazione come campo della scienza. Credo che questi campi, tuttavia, siano stati formalmente preceduti dal campo statistico stesso. Questo ovviamente non è il caso della fisica. L'unico tema centrale in queste scienze applicate è la formulazione di un processo come modello che collega alcuni predittori a una risposta. Forse il linguaggio delle statistiche è nato in parte dalla necessità di generalizzare concetti tali da applicarsi a questi campi.
AdamO,

1
Stai pensando a Jacobus Bernoulli, autore postumo di ars conjectandi (ed. Nicholaus Bernoulli, 1713). Probabilmente le ultime persone che sembravano essere motivate da problemi di gioco furono Pascal e Fermat nel 1654, ma anche allora sembra che stessero usando alcuni problemi di gioco (il "problema dei punti") solo come esempio motivazionale e non come centro di la loro indagine. (La moderna borsa di studio in realtà traccia il problema dei punti della legge sui contratti islamici intorno al 1200.) L'ultimo matematico di nota che era veramente motivato dal gioco d'azzardo probabilmente fu Cardano (1501-1576).
whuber

1
Diacon è il mago ? Non confonderei il gioco d'azzardo con lo spettacolo! Hai ragione, ma potresti respingere un po 'meglio suggerendo che molti "investitori" sono in realtà giocatori d'azzardo, per cui molti teorici della finanza matematica potrebbero davvero essere motivati ​​da quella forma di gioco d'azzardo. Solo un pensiero ... Ad ogni modo, è chiaro che, quando nel 1657 Huygens pubblicò il suo piccolo trattato, le persone stavano creando una teoria della probabilità (e delle statistiche) per ragioni molto più profonde e di vasta portata che fare di meglio ai tavoli da gioco. .
whuber
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.