Una piccola dimensione del campione può causare errori di tipo 1?

Ho imparato che le dimensioni ridotte del campione possono portare a potenza insufficiente e errore di tipo 2. Tuttavia, ho la sensazione che piccoli campioni possano essere generalmente inaffidabili e possono portare a qualsiasi tipo di risultato per caso. È vero?

hypothesis-testing small-sample

— anche
fonte

Ho un'avversione per la notazione matematica non necessaria, quindi ho modificato il titolo, potresti controllare che non abbia cambiato il significato cambiandolo?

— mpiktas,

Assicurati anche di parlare di test di ipotesi (test di Neyman-Pearson) e non di test di significatività (test di Fisher). Questi approcci sono comunemente mescolati anche se non vi è alcuna nozione di errore nella seconda, e gli usi corretti dovrebbero essere diversi perché portano a diversi tipi di conclusione.

— Seb

Se stai usando un test asintotico, sì, è possibile. Altrimenti, no - il test è definito per controllare il tasso di errore di tipo 1 (cioè

α

$\alpha$

— Macro

Ma non è vero, se si lanciano due volte monete, è più probabile che si ottenga un risultato distorto (2 stessi lati (100%)), rispetto a quando si lanciano 100 volte, il che molto probabilmente si tradurrà in circa 1 / 2, 1/2. Ciò non indica che minore è la dimensione, maggiore è la probabilità che si verifichi un errore di tipo I?

Risposte:

Come principio generale, le dimensioni ridotte del campione non aumentano il tasso di errore di tipo I per il semplice motivo che il test è predisposto per controllare il tasso di tipo I. (Esistono piccole eccezioni tecniche associate a risultati discreti, che possono far sì che il tasso nominale di tipo I non venga raggiunto esattamente soprattutto con campioni di piccole dimensioni.)

C'è un principio importante qui: se il tuo test ha dimensioni accettabili (= tasso nominale di tipo I) e potenza accettabile per l'effetto che stai cercando, allora anche se la dimensione del campione è piccola va bene.

Il pericolo è che se altrimenti sappiamo poco della situazione - forse questi sono tutti i dati che abbiamo - allora potremmo essere preoccupati per errori di "Tipo III": vale a dire, specifiche errate del modello. Possono essere difficili da controllare con piccoli set di campioni.

Come esempio pratico dell'interazione di idee, condividerò una storia. Molto tempo fa mi è stato chiesto di raccomandare una dimensione del campione per confermare una pulizia ambientale. Ciò avveniva durante la fase di pre-cleanup prima che avessimo dei dati. Il mio piano prevedeva di analizzare circa 1000 campioni che sarebbero stati ottenuti durante la pulizia (per stabilire che fosse stato rimosso abbastanza terreno in ogni posizione) per valutare la media post-pulizia e la varianza della concentrazione di contaminante. Quindi (per semplificare notevolmente), ho detto che avremmo usato una formula da manuale - in base alla potenza specificata e alle dimensioni del test - per determinare il numero di campioni di conferma indipendenti che sarebbero stati utilizzati per dimostrare che la pulizia ha avuto successo.

Ciò che ha reso questo memorabile è stato che dopo la pulizia, la formula diceva di usare solo 3 campioni. Improvvisamente la mia raccomandazione non è sembrata molto credibile!

Il motivo per cui sono necessari solo 3 campioni è che la pulizia è stata aggressiva e ha funzionato bene. Ha ridotto le concentrazioni medie di contaminanti a circa 100 somministrare o assumere 100 ppm, costantemente al di sotto dell'obiettivo di 500 ppm.

Alla fine questo approccio ha funzionato perché avevamo ottenuto i 1000 campioni precedenti (anche se di qualità analitica inferiore: avevano un errore di misurazione maggiore) per stabilire che le ipotesi statistiche in corso erano effettivamente buone per questo sito. Ecco come è stato gestito il potenziale errore di tipo III.

Un'altra svolta per la tua considerazione: sapendo che l'agenzia di regolamentazione non avrebbe mai approvato utilizzando solo 3 campioni, ho raccomandato di ottenere 5 misurazioni. Questi dovevano essere fatti di 25 campioni casuali dell'intero sito, composti in gruppi di 5. Statisticamente ci sarebbero stati solo 5 numeri nel test finale di ipotesi, ma abbiamo raggiunto un potere maggiore per rilevare un "punto caldo" isolato prendendo 25 campioni. Ciò evidenzia l'importante relazione tra il numero di numeri utilizzati nel test e il modo in cui sono stati ottenuti. C'è di più nel processo decisionale statistico oltre ai semplici algoritmi con numeri!

Con mio eterno sollievo, i cinque valori compositi hanno confermato che l'obiettivo di pulizia era stato raggiunto.

— whuber
fonte

(+1) grande storia di pulizia aggressiva ed errore di tipo III , sarebbe bello se questo fosse rilevante anche per le serie storiche economiche. Per i modelli deterministici o modelli con basso livello di rumore, dimensioni ridotte del campione IMHO non saranno il problema più grande (rispetto all'enorme serie di dati di campionamento di grandi dimensioni probabilmente molto rumorosi e indipendenti, anche i componenti principali sono difficili con questi).

— Dmitrij Celov,

+1, per coloro che sono interessati a una maggiore comprensione delle "eccezioni tecnici connessi con esiti discreti" di cui al primo comma, discuto coloro che sono qui: a comparare e confrontare p-value, livelli di significatività, e l'errore di tipo I .

— gung - Ripristina Monica

+1, ottimo esempio del perché non è possibile eseguire una pugnalata selvaggia con una dimensione del campione utile senza le informazioni chiave.

— Freya Harrison,

Un'altra conseguenza di un piccolo campione è l'aumento dell'errore di tipo 2.

Nunnalmente ha dimostrato nel documento "Il posto della statistica in psicologia", 1960, che piccoli campioni generalmente non riescono a respingere un'ipotesi nulla. Queste ipotesi sono ipotesi con alcuni parametri uguali a zero e sono note come false nell'esperienza considerata.

Al contrario, campioni troppo grandi aumentano l'errore di tipo 1 perché il valore p dipende dalla dimensione del campione, ma il livello alfa di significatività è fisso. Un test su tale campione rifiuterà sempre l'ipotesi nulla. Leggi "L'insignificanza dei test di significatività statistica" di Johnson and Douglas (1999) per avere una visione d'insieme del problema.

Questa non è una risposta diretta alla domanda, ma queste considerazioni sono complementari.

— seb
fonte

+1 per il richiamo del problema di campioni di grandi dimensioni e errore di tipo I

— Josh Hemann,

-1, il commento che "campioni troppo grandi aumentano l'errore di tipo 1" non è corretto. Potresti confondere il significato statistico e il significato pratico , in quanto può esistere una situazione in cui il vero effetto non è esattamente 0, ma così piccolo da essere insignificante, e considereremmo il "vero" nullo a fini pratici . In questo caso, il valore nullo verrebbe rifiutato più del (ad es.) 5% delle volte, e più spesso con un aumento di N. Tuttavia, in senso stretto, l'ipotesi nulla che l'effetto reale sia esattamente 0 è, per stipulazione, falsa. Pertanto, questi rifiuti non sono in realtà errori di tipo I.

— gung - Ripristina Monica