Due metodi di test di significatività bootstrap

Usando bootstrap, calcolo i valori p dei test di significatività usando due metodi:

ricampionamento sotto l'ipotesi nulla e conteggio dei risultati estremi almeno quanto quelli derivanti dai dati originali
ricampionamento secondo l'ipotesi alternativa e conteggio dei risultati almeno altrettanto distanti dal risultato originale quanto il valore corrispondente all'ipotesi nulla

Credo che il ^primo approccio sia del tutto corretto in quanto segue la definizione di valore ap. Sono meno sicuro del secondo, ma di solito dà risultati molto simili e mi ricorda un test Wald.

Ho ragione? Entrambi i metodi sono corretti? Sono identici (per campioni di grandi dimensioni)?

^{Esempi per i due metodi (modifiche dopo le domande di DWin e la risposta di Erik):

Esempio 1. Costruiamo un test bootstrap simile al test T a due campioni. Il metodo 1 ricampionerà da un campione (ottenuto raggruppando i due originali). Il metodo 2 ricampionerà indipendentemente da entrambi i campioni.

Esempio 2. Costruiamo un test bootstrap di correlazione tra x₁… xₐ e y₁… yₐ. Il metodo 1 non assume alcuna correlazione e ricampiona consentendo coppie (xₑ, yₔ) dove e ≠ ə. Il metodo 2 compilerà un campione bootstrap delle coppie originali (x, y).

Esempio 3. Costruiamo un test bootstrap per verificare se una moneta è giusta. Il metodo 1 creerà campioni casuali impostando Pr (testa) = Pr (coda) = ½. Il metodo 2 ricampionerà il campione di valori sperimentali testa / coda e confronterà le proporzioni con ½.}

statistical-significance bootstrap p-value

— winerd
fonte

Quale "ipotesi alternativa"? Nella nomenclatura tradizionale dei pescatori non ci sarebbe solo una alternativa ma una famiglia infinita di alternative. E come si "campiona sotto un'ipotesi" per quella materia? Il campionamento viene eseguito sui dati. l'ipotesi riguarda un parametro.

— DWin

@Dino: grazie, vedi il mio esempio aggiunto alla mia domanda.

— Winerd

Il primo approccio è classico e affidabile, ma non può sempre essere utilizzato. Per ottenere campioni bootstrap assumendo l'ipotesi nulla, devi essere disposto ad assumere una distribuzione teorica da conservare ( questa è la tua prima opzione ) o supporre che la tua statistica di interesse abbia la stessa forma distributiva quando viene spostata sull'ipotesi nulla (la tua seconda opzione ). Ad esempio, sotto il solito presupposto, la distribuzione t ha la stessa forma quando viene spostata su un'altra media. Tuttavia, quando si modifica la frequenza nulla di 0,5 di una distribuzione binomiale su 0,025, si modifica anche la forma.

Nella mia esperienza, altrimenti nel caso in cui tu sia disposto a fare queste ipotesi, spesso hai anche altre opzioni. Nel tuo esempio 1) in cui sembri supporre che entrambi i campioni potrebbero provenire dalla stessa popolazione di base, secondo me sarebbe meglio un test di permutazione .

$\alpha$ $(1-\alpha)$

Questo è un metodo molto flessibile e applicabile a molti test. Tuttavia, è molto importante costruire buoni intervalli di confidenza bootstrap e non semplicemente usare approssimazioni Wald o il metodo percentile. Alcune informazioni sono qui: Intervallo di confidenza basato su Bootstrap

— Erik
fonte

Bella risposta. Quindi la seconda opzione richiede una simmetria troppo giusta? Supponi che la media del tuo intervallo di confidenza sia maggiore di 0 e stai considerando che H non sia che è 0. Quindi, osservando dove si trova 0 nel tuo intervallo di confidenza è diverso dal vedere quanto estremo è il valore medio assumendo H no ( questi sono in due direzioni diverse, se si presume che si stia spostando l'intervallo di confidenza).

— michal,

@erik ha appena lanciato una taglia su una domanda simile - che è fondamentalmente una lunga e ventosa versione del commento sopra - quando è possibile utilizzare l'opzione 2 e in quali condizioni? stats.stackexchange.com/questions/175659/…

— Xavier Bourret Sicotte