È possibile dimostrare un'ipotesi nulla?

Come afferma la domanda: è possibile provare l'ipotesi nulla? Dalla mia (limitata) comprensione dell'ipotesi, la risposta è no ma non riesco a trovare una spiegazione rigorosa per questo. La domanda ha una risposta definitiva?

Se stai parlando del mondo reale e non della logica formale, la risposta è ovviamente.La "prova" di qualsiasi cosa con mezzi empirici dipende dalla forza dell'inferenza che si può fare, che a sua volta è determinata dalla validità del processo di prova come valutato alla luce di tutto ciò che si sa su come funziona il mondo (cioè la teoria). Ogni volta che si accetta che determinati risultati empirici giustifichino il rifiuto dell'ipotesi "nulla", si devono necessariamente formulare giudizi di questo tipo (validità del disegno; il mondo funziona in un certo modo), quindi è necessario formulare le analoghe ipotesi necessarie per giustificare inferire "la prova del null " non è affatto problematico.

Quindi quali sono le ipotesi analoghe? Ecco un esempio di "dimostrare il nulla" che è comune nelle scienze della salute e nelle scienze sociali. (1) Definire "null" o "nessun effetto" in qualche modo che sia praticamente significativo. Diciamo che credo che dovrei comportarmi come se non ci fosse una differenza significativa tra 2 trattamenti, t1 e t2, per una malattia a meno che uno dia una probabilità di recupero del 3% migliore rispetto all'altro. (2) Scopri un progetto valido per verificare se ci sono effetti - in questo caso, se c'è una differenza nella probabilità di recupero tra t1 e t2. (3) Fare un presupposto un'analisi di potenza per determinare se quale dimensione del campione è necessaria per generare una probabilità sufficientemente elevata, di cui sono fiducioso basandomi su ciò che " che esista. Di solito le persone dicono che il potere è sufficiente se la probabilità di osservare un determinato effetto ad una specifica alfa è almeno 0,80, ma il giusto livello di confidenza è in realtà una questione di quanto si è avversi all'errore - lo stesso di quando si seleziona p -valore soglia per "rifiutare il null." (4) Eseguire il test empirico e osservare l'effetto. Se è inferiore al valore di "differenza significativa" specificato - 3% nel mio esempio - hai "dimostrato" che non c'è "nessun effetto".

Per un buon trattamento della questione, vedi Streiner, DL Unicorns Do Exist: A Tutorial on “Proving” the Null Hothothesis . Canadian Journal of Psychiatry 48, 756-761 (2003).

Risposta dal punto di vista matematico: è possibile se e solo se "le ipotesi sono reciprocamente singolari".

Se per "prova" intendi avere una regola che può "accettare" (dovrei dirlo :)) $H_0$ con una probabilità di fare un errore pari a zero, allora stai cercando quello che potrebbe essere chiamato "test ideale" e questo esiste:

Se stai testando se una variabile casuale viene disegnata da P 0 o da P 1 (cioè test H 0 : X ⇝ P 0 contro H 1 : X ⇝ P 1 ) allora esiste un test ideale se e solo se P 1 ⊥ P 0 ( P 1 e P 0 sono "reciprocamente singolari"). $X$$P_0$$P_1$$H_0: X\leadsto P_0$$H_1: X\leadsto P_1$ $P_1\bot P_0$$P_1$$P_0$

Se non sai cosa significa "reciprocamente singolare", posso darti un esempio: e U [ 3 , 4 ] (uniformi su [ 0 , 1 ] e [ 3 , 4 ] ) sono reciprocamente singolari . Questo significa che se vuoi testare$\mathcal{U}[0,1]$$\mathcal{U}[3,4]$$[0,1]$$[3,4]$

contro H 1 : X ⇝ U [ 3 , 4 $H_0: X\leadsto \mathcal{U}[0,1]$$H_1: X\leadsto \mathcal{U}[3,4]$

allora esiste un test ideale (indovinate cos'è :)): un test che non sbaglia mai!

Se e P 0 non sono reciprocamente singolari, allora questo non esiste (questo risulta dal "solo se parte")!$P_1$$P_0$

In termini non matematici ciò significa che puoi dimostrare il nulla se e solo se la prova è già nelle tue assunzioni (cioè se e solo se hai scelto le ipotesi e H 1 che sono così diverse che una singola osservazione da H 0 non può essere identificato come uno da H 1 e viceversa). $H_0$$H_1$$H_0$$H_1$

Sì, c'è una risposta definitiva. La risposta è: no, non esiste un modo per dimostrare un'ipotesi nulla. Il meglio che puoi fare, per quanto ne so, è gettare intervalli di confidenza intorno alla tua stima e dimostrare che l'effetto è così piccolo che potrebbe anche essere essenzialmente inesistente.

Per me, il quadro teorico decisionale presenta il modo più semplice per comprendere l '"ipotesi nulla". Dice sostanzialmente che ci devono essere almeno due alternative: l'ipotesi Null e almeno un'alternativa. Quindi il "problema decisionale" è accettare una delle alternative e respingere le altre (anche se dobbiamo essere precisi su cosa intendiamo per "accettare" e "rifiutare" l'ipotesi). Vedo la domanda di "possiamo dimostrare l'ipotesi nulla?" come analogo a "possiamo sempre prendere la decisione corretta?". Dal punto di vista della teoria delle decisioni, la risposta è chiaramente sì se

1) non vi è alcuna incertezza nel processo decisionale, poiché è quindi un esercizio matematico capire quale sia la decisione corretta.

2) accettiamo tutte le altre premesse / ipotesi del problema. Il più critico (penso) è che l'ipotesi tra cui stiamo decidendo è esaustiva, e uno (e solo uno) di essi deve essere vero, e gli altri devono essere falsi.

Da un punto di vista più filosofico, non è possibile "provare" nulla, nel senso che la "prova" dipende interamente dalle ipotesi / assiomi che portano a quella "prova". Vedo la prova come una sorta di equivalenza logica piuttosto che un "fatto" o "verità", nel senso che se la prova è sbagliata, anche i presupposti che l'hanno portato sono sbagliati.

Applicando questo alla "dimostrazione dell'ipotesi nulla" posso "dimostrarlo" come vero semplicemente supponendo che sia vero, o supponendo che sia vero se determinate condizioni sono soddisfatte (come il valore di una statistica).

Sì, è possibile provare il null, esattamente nello stesso senso in cui è possibile provare qualsiasi alternativa al null. In un'analisi bayesiana, è perfettamente possibile che le probabilità a favore del nulla rispetto a una qualsiasi delle alternative proposte ad esso diventino arbitrariamente grandi. Inoltre, è falso affermare, come affermano alcune delle risposte di cui sopra, che si può provare il null solo se le alternative ad essa sono disgiunte (non si sovrappongono al null). In un'analisi bayesiana ogni ipotesi ha una distribuzione di probabilità precedente. Questa distribuzione distribuisce una massa unitaria di probabilità precedente sulle alternative proposte. L'ipotesi nulla pone tutta la probabilità precedente su un'unica alternativa. In linea di principio, le alternative al nulla possono mettere tutta la probabilità precedente su qualche alternativa non nulla (su un altro "punto"), ma questo è raro. In generale, le alternative hedge, ovvero, diffondono la stessa massa di probabilità precedente su altre alternative, sia ad esclusione dell'alternativa nulla, sia, più comunemente, compresa l'alternativa nulla. La domanda diventa allora quale ipotesi pone la probabilità più precedente in cui i dati sperimentali effettivamente cadono. Se i dati cadono strettamente attorno al punto in cui il null dice che dovrebbero cadere, allora sarà la preferenza sulla probabilità (tra le ipotesi proposte) ANCHE SE È INCLUSO (NIDATO IN, NON ESCLUSIVO CON QUANTITÀ) CON GLI ALTERNATIVI. La convinzione che non sia possibile che un'alternativa nidificata sia più probabile dell'insieme in cui è nidificata riflette l'incapacità di distinguere tra probabilità e probabilità. Mentre è impossibile che un componente di un insieme sia meno probabile dell'intero insieme, è perfettamente possibile che la probabilità posteriore di un componente di un insieme di ipotesi sia maggiore della probabilità posteriore dell'insieme nel suo insieme. La probabilità posteriore di un'ipotesi è il prodotto della funzione di probabilità e della precedente distribuzione di probabilità che l'ipotesi pone. Se un'ipotesi mette tutte le probabilità precedenti nel posto giusto (ad esempio, sul valore nullo), allora avrà una probabilità posteriore più alta di un'ipotesi che mette parte della probabilità precedente nel posto sbagliato (non sul valore nullo). La probabilità posteriore di un'ipotesi è il prodotto della funzione di probabilità e della precedente distribuzione di probabilità che l'ipotesi pone. Se un'ipotesi mette tutte le probabilità precedenti nel posto giusto (ad esempio, sul valore nullo), allora avrà una probabilità posteriore più alta di un'ipotesi che mette parte della probabilità precedente nel posto sbagliato (non sul valore nullo). La probabilità posteriore di un'ipotesi è il prodotto della funzione di probabilità e della precedente distribuzione di probabilità che l'ipotesi pone. Se un'ipotesi mette tutte le probabilità precedenti nel posto giusto (ad esempio, sul valore nullo), allora avrà una probabilità posteriore più alta di un'ipotesi che mette parte della probabilità precedente nel posto sbagliato (non sul valore nullo).

Tecnicamente no, non è possibile dimostrare un'ipotesi nulla. Per qualsiasi dimensione fissa e finita del campione, ci sarà sempre una dimensione dell'effetto piccola ma diversa da zero per la quale il test statistico non ha praticamente alcun potere. Più praticamente, tuttavia, puoi dimostrare di essere all'interno di un piccolo epsilon dell'ipotesi nulla, in modo tale che deviazioni inferiori a questo epsilon non siano praticamente significative.

C'è un caso in cui una prova è possibile. Supponi di avere una scuola e la tua ipotesi nulla è che il numero di ragazzi e di ragazze sia uguale. All'aumentare della dimensione del campione, l'incertezza nel rapporto tra ragazzi e ragazze tende a ridursi, raggiungendo infine la certezza (che è ciò che presumo tu intenda per prova) quando viene campionata l'intera popolazione di alunni.

Ma se non si dispone di una popolazione finita o se si esegue il campionamento con sostituzione e non è possibile individuare individui ricampionati, non è possibile ridurre l'incertezza a zero con un campione finito.

Vorrei discutere qui un punto in cui molti utenti sono piuttosto confusi. Qual è il vero significato dell'istruzione Ipotesi nulla H0: p = 0? Stiamo cercando di determinare se il parametro p è zero? Certo che no, non c'è modo di raggiungere un simile obiettivo.

Ciò che intendiamo stabilire è che, dato il set di dati, il valore del parametro valutato è (o meno) indiscernibile da zero. Ricorda che NHST è "ingiusto" nei confronti delle ipotesi alternative: al nulla viene attribuito un livello di confidenza del 95% e solo il 5% all'alternativa. Di conseguenza, un risultato "non significativo" non significa che H0 sia valido, ma semplicemente che non abbiamo trovato prove sufficienti della probabile alternativa.