Sfondo:
ho dovuto eseguire un'analisi dei dati per un cliente (una specie di avvocato) che era un principiante assoluto in statistica. Mi ha chiesto cosa significa il termine "significato statistico" e ho davvero cercato di spiegarlo ... ma dato che non sono bravo a spiegare le cose, ho fallito;)
Risposte:
Le differenze si verificano a causa del caso.
Quando crediamo che qualcosa sia statisticamente significativo, crediamo che la differenza sia maggiore di quanto possa ragionevolmente essere spiegato come un evento casuale.
NOTA: ciò che voglio sottolineare in questa risposta è che il significato statistico è uno strumento utile, ma anche diverso dalla verità.
Prendi un mazzo di 52 carte. Se il mio cliente è innocente è un normale mazzo di carte, 13 cuori. Se il mio cliente mente, è un mazzo fisso e tutte e 52 le carte sono cuori.
Pesca la prima carta ed è un cuore. Aha, colpevole! Bene, ovviamente il buon senso ci dice che non è così: c'era una possibilità su quattro che ciò potesse accadere anche se fosse innocente. Non abbiamo significato statistico solo osservando una carta.
Quindi pesciamo una seconda carta. Un altro cuore. Hhhmmm ... sicuramente colpevole allora! Bene, c'erano ancora 12 cuori in quelle rimanenti 51 carte, quindi non impossibile. La matematica (13/52 * 12/51 = 0,0588) ci dice che questo accade circa il 6% delle volte, anche se innocente. Per la maggior parte degli scienziati questo non conta ancora.
Pesca una terza carta, un altro cuore! Tre di fila. Le possibilità che ciò accada sono (13/52 * 12/51 * 11/50 = 0,01294), quindi poco più dell'1% delle volte ciò può accadere per caso.
In gran parte della scienza il 5% viene utilizzato come punto di interruzione. Quindi se non hai altre prove oltre quelle tre carte hai un risultato statisticamente significativo che è colpevole.
Il punto importante è che più carte puoi vedere, migliore è la tua fiducia nella sua colpa, che è un altro modo di dire più alto diventa il significato statistico.
NOTA: non hai mai una prova della sua colpa se non ti è permesso di guardare 14 carte. Con un normale mazzo di carte è teoricamente possibile pescare 13 cuori di fila, ma 14 è impossibile. [A parte i pedanti: supponiamo che i numeri sulle carte non siano visibili; tutte le carte sono uno dei quattro semi possibili, e basta.]
NOTA: hai la prova della sua innocenza nel momento in cui pesca una carta diversa da un cuore. Questo perché c'erano solo due possibili pacchetti: normale o tutti i cuori. La vita reale è più complicata e anche la matematica diventa più complicata.
A proposito, se il tuo cliente non è un giocatore di carte, prova Monopoli: tutti tirano un doppio sei qualche volta; ma se qualcuno ottiene il doppio sei ogni volta che diventi sospettoso. Le statistiche ci permettono solo di dare un numero esatto su quanto dovremmo essere sospettosi.
Il mio consiglio è di non parlare delle seguenti cose:
Non essere troppo duro con te stesso per l'avvocato. Questa è una persona istruita che ha trascorso almeno un semestre in una classe di Statistica universitaria, e non è rimasta un po 'bloccata con lui. È la stessa storia praticamente per ogni altro non scienziato con cui ho lavorato - il significato statistico non si attacca . È un concetto troppo innaturale.
Vi incoraggio a spiegare il significato statistico in termini di prove . Gli statistici classici hanno codificato le prove su una scala da 0 a 1, dove valori più piccoli costituiscono più prove e 0,05 è dove la linea è tracciata convenzionalmente.
"Statisticamente significativo" significa che qualcosa sarebbe potuto accadere casualmente, ma è improbabile. Invece, è molto più probabile che ci sia un qualche tipo di causa. Dovresti renderlo più concreto con un esempio che è rilevante per il tuo cliente, poiché quella spiegazione è così astratta.
Ad esempio, se l'avvocato Anne avesse vinto in media molti più casi rispetto a Bill, ciò sarebbe potuto accadere casualmente. Tuttavia, se Anne ha vinto un numero statisticamente significativo di casi, è molto più probabile che ci sia qualcosa che potrebbe aiutare a spiegare perché Anne ha vinto più casi di Bill. Non conosciamo la causa. Forse Anne è un avvocato migliore o Bill sceglie di proposito casi più difficili.
Mantienilo semplice e conciso!
Un valore p è definito come la probabilità di ottenere risultati come o più estremi di quello che abbiamo osservato supponendo che il valore nullo sia vero. Se il valore p è abbastanza piccolo, è probabile che il valore nullo non sia vero. Scegliamo arbitrariamente un limite per ciò che consideriamo un "abbastanza piccolo" (alfa) e per tutti i valori p che scendono al di sotto dell'alfa, rifiutiamo il valore nullo.
È così che lo spiego alla mia classe di statistiche introduttive.
Ci proverò.
Innanzitutto si calcola un valore p in base ai dati medi e alla variabile dei dati. Più è variabile, meno è probabile che si ottenga un piccolo valore p. D'altra parte, se, ad esempio, si stanno confrontando due gruppi, maggiore è la differenza tra le loro medie, minore è il valore p.
Inoltre, la variabilità dei dati può essere in qualche modo annullata disponendo di più dati. Imaging di due serie di dati con la stessa differenza tra due medie e la stessa quantità di variabilità. In questo caso, il set con una dimensione del campione maggiore avrà un valore p più piccolo.
La parte di test sta solo vedendo se il valore p è inferiore a qualche numero. Di solito le persone usano .05, ma questa è un'abitudine sociale arbitraria. Molte persone pensano che non abbia senso usare un numero arbitrario, ma è molto comune per ragioni storiche.
Inoltre, tieni presente che solo perché il tuo test di significatività afferma che c'è una differenza tra due gruppi non significa che sai perché c'è quella differenza. D'altra parte, se il test afferma che non esiste alcuna differenza significativa, ciò potrebbe essere dovuto al fatto che la variabilità era troppo grande e che non si disponevano di dati sufficienti per ottenere un valore p basso, ciò non significa che non vi sia alcuna differenza effettiva.
Modificare:
Riassumendo, un valore p più basso significa più prove rispetto alla previsione:
Differenza rispetto al risultato previsto -> Valore p basso
Altri dati -> Valore p basso
Più variabilità -> Valore p superiore
Il valore p basso indica più prove che affermano che la previsione è falsa. Ogni previsione nella storia è stata mostrata falsa con un decimale.
Il significato statistico è un concetto usato per fornire la giustificazione per accettare o rifiutare una determinata ipotesi. Dato un insieme di dati, un analista può calcolare le statistiche e determinare l'entità delle varie relazioni tra variabili diverse.
Il compito delle statistiche è determinare se i dati contengono prove sufficienti per consentirti di concludere che le statistiche calcolate o le relazioni osservate tra le variabili possono essere interpretate come affermazioni vere o se i risultati osservati nei dati del tuo campione sono semplicemente dovuti al caso. Questo viene fatto determinando alcune statistiche campione che mostrerebbero determinate caratteristiche se l'ipotesi nulla è vera ma non se l'ipotesi nulla è falsa. Più la statistica campione pertinente sembra mostrare le caratteristiche attese nell'ipotesi nulla, più forte è l'evidenza statistica che l'ipotesi nulla è corretta. Allo stesso modo, meno la statistica del campione sembra mostrare le caratteristiche attese nell'ipotesi nulla, più debole è l'evidenza statistica che l'ipotesi nulla è corretta.
L'importo che la statistica del campione presenta le caratteristiche previste sotto il valore nullo è una questione di gradi, ma per concludere che l'ipotesi nulla è accettata o respinta ci deve essere un taglio arbitrario. Come tale, viene scelto un valore di soglia. Se la statistica del campione rientra o su un lato del valore di cutoff, allora si dice che sia conforme alle caratteristiche previste sotto l'ipotesi nulla, e quindi il risultato può essere considerato statisticamente significativo per il valore di cutoff dato (ad esempio al 5% alfa livello). Se la statistica del campione rilevante cade dall'altra parte del valore di cutoff, allora si dice che non sia conforme alle caratteristiche previste nell'ipotesi nulla, e quindi il risultato non è considerato statisticamente significativo per il dato valore di cutoff.