Come principio generale, le dimensioni ridotte del campione non aumentano il tasso di errore di tipo I per il semplice motivo che il test è predisposto per controllare il tasso di tipo I. (Esistono piccole eccezioni tecniche associate a risultati discreti, che possono far sì che il tasso nominale di tipo I non venga raggiunto esattamente soprattutto con campioni di piccole dimensioni.)
C'è un principio importante qui: se il tuo test ha dimensioni accettabili (= tasso nominale di tipo I) e potenza accettabile per l'effetto che stai cercando, allora anche se la dimensione del campione è piccola va bene.
Il pericolo è che se altrimenti sappiamo poco della situazione - forse questi sono tutti i dati che abbiamo - allora potremmo essere preoccupati per errori di "Tipo III": vale a dire, specifiche errate del modello. Possono essere difficili da controllare con piccoli set di campioni.
Come esempio pratico dell'interazione di idee, condividerò una storia. Molto tempo fa mi è stato chiesto di raccomandare una dimensione del campione per confermare una pulizia ambientale. Ciò avveniva durante la fase di pre-cleanup prima che avessimo dei dati. Il mio piano prevedeva di analizzare circa 1000 campioni che sarebbero stati ottenuti durante la pulizia (per stabilire che fosse stato rimosso abbastanza terreno in ogni posizione) per valutare la media post-pulizia e la varianza della concentrazione di contaminante. Quindi (per semplificare notevolmente), ho detto che avremmo usato una formula da manuale - in base alla potenza specificata e alle dimensioni del test - per determinare il numero di campioni di conferma indipendenti che sarebbero stati utilizzati per dimostrare che la pulizia ha avuto successo.
Ciò che ha reso questo memorabile è stato che dopo la pulizia, la formula diceva di usare solo 3 campioni. Improvvisamente la mia raccomandazione non è sembrata molto credibile!
Il motivo per cui sono necessari solo 3 campioni è che la pulizia è stata aggressiva e ha funzionato bene. Ha ridotto le concentrazioni medie di contaminanti a circa 100 somministrare o assumere 100 ppm, costantemente al di sotto dell'obiettivo di 500 ppm.
Alla fine questo approccio ha funzionato perché avevamo ottenuto i 1000 campioni precedenti (anche se di qualità analitica inferiore: avevano un errore di misurazione maggiore) per stabilire che le ipotesi statistiche in corso erano effettivamente buone per questo sito. Ecco come è stato gestito il potenziale errore di tipo III.
Un'altra svolta per la tua considerazione: sapendo che l'agenzia di regolamentazione non avrebbe mai approvato utilizzando solo 3 campioni, ho raccomandato di ottenere 5 misurazioni. Questi dovevano essere fatti di 25 campioni casuali dell'intero sito, composti in gruppi di 5. Statisticamente ci sarebbero stati solo 5 numeri nel test finale di ipotesi, ma abbiamo raggiunto un potere maggiore per rilevare un "punto caldo" isolato prendendo 25 campioni. Ciò evidenzia l'importante relazione tra il numero di numeri utilizzati nel test e il modo in cui sono stati ottenuti. C'è di più nel processo decisionale statistico oltre ai semplici algoritmi con numeri!
Con mio eterno sollievo, i cinque valori compositi hanno confermato che l'obiettivo di pulizia era stato raggiunto.