Esistono due modelli generali da testare. Il primo, basato sull'ipotesi di campionamento casuale da una popolazione, è generalmente chiamato "modello di popolazione".
Ad esempio, per il test t di due campioni indipendenti, assumiamo che i due gruppi che vogliamo confrontare siano campioni casuali delle rispettive popolazioni. Supponendo che le distribuzioni dei punteggi all'interno dei due gruppi siano normalmente distribuite nella popolazione, possiamo quindi derivare analiticamente la distribuzione campionaria della statistica del test (cioè, per la statistica t). L'idea è che se dovessimo ripetere questo processo (tracciando casualmente due campioni dalle rispettive popolazioni) un numero infinito di volte (ovviamente, non lo facciamo effettivamente), otterremmo questa distribuzione di campionamento per la statistica del test.
Un modello alternativo per i test è il "modello di randomizzazione". Qui, non dobbiamo fare appello al campionamento casuale. Invece, otteniamo una distribuzione randomizzata attraverso permutazioni dei nostri campioni.
Ad esempio, per il test t, hai i tuoi due campioni (non necessariamente ottenuti tramite campionamento casuale). Ora, se davvero non c'è alcuna differenza tra questi due gruppi, allora se una determinata persona "appartiene" effettivamente al gruppo 1 o al gruppo 2 è arbitrario. Quindi, ciò che possiamo fare è permutare il compito del gruppo ancora e ancora, notando ogni volta fino a che punto i mezzi dei due gruppi sono separati. In questo modo, otteniamo una distribuzione campionaria empiricamente. Possiamo quindi confrontare la distanza dei due mezzi nei campioni originali (prima di iniziare a rimescolare le appartenenze al gruppo) e se tale differenza è "estrema" (cioè, cade nelle code della distribuzione campionaria derivata empiricamente), quindi concludiamo l'appartenenza al gruppo non è arbitraria e c'è davvero una differenza tra i due gruppi.
In molte situazioni, i due approcci portano effettivamente alla stessa conclusione. In un certo senso, l'approccio basato sul modello di popolazione può essere visto come un'approssimazione del test di randomizzazione. È interessante notare che Fisher è stato colui che ha proposto il modello di randomizzazione e ha suggerito che dovrebbe essere la base per le nostre inferenze (poiché la maggior parte dei campioni non sono ottenuti tramite campionamento casuale).
Un bell'articolo che descrive la differenza tra i due approcci è:
Ernst, MD (2004). Metodi di permutazione: una base per un'inferenza esatta. Statistical Science, 19 (4), 676-685 (link) .
Un altro articolo che fornisce un bel riassunto e suggerisce che l'approccio alla randomizzazione dovrebbe essere la base per le nostre inferenze:
Ludbrook, J., & Dudley, H. (1998). Perché i test di permutazione sono superiori ai test te F nella ricerca biomedica. American Statistician, 52 (2), 127-132 (link) .
EDIT: dovrei anche aggiungere che è comune calcolare la stessa statistica test quando si utilizza l'approccio di randomizzazione come nel modello di popolazione. Quindi, ad esempio, per testare la differenza nelle medie tra due gruppi, si calcolerebbe la consueta statistica t per tutte le possibili permutazioni delle appartenenze ai gruppi (producendo la distribuzione campionaria derivata empiricamente sotto l'ipotesi nulla) e quindi si verificherebbe quanto estremo la statistica t per l'appartenenza al gruppo originale rientra in tale distribuzione.