La letteratura distingue due tipi di test di permutazioni: (1) il test di randomizzazione è il test di permutazione in cui la scambiabilità è soddisfatta dall'assegnazione casuale di unità sperimentali alle condizioni; (2) il test di permutazione è esattamente lo stesso test, ma applicato a una situazione in cui sono necessari altri presupposti (cioè diversi dall'assegnazione casuale) per giustificare la scambiabilità.
Alcuni riferimenti riguardanti le convenzioni di denominazione (cioè randomizzazione vs permutazione): Kempthorne & Doerfler, Biometrika, 1969; Edgington & Onghena, Test di randomizzazione, 4a edizione, 2007
Per ipotesi, il test di randomizzazione (ovvero il test di randomizzazione di Fisher per dati sperimentali) richiede solo ciò che Donald Rubin definisce l'assunzione di valore di trattamento unitario stabile (SUTVA). Vedi il commento di Rubin del 1980 sull'articolo di Basu su JASA. SUTVA è anche una delle ipotesi fondamentali (insieme a una forte ignorabilità) per l'inferenza causale secondo il modello dei risultati potenziali di Neyman-Rubin (cfr. L'articolo JASA del 1986 di Paul Holland). In sostanza, SUTVA afferma che non vi sono interferenze tra le unità e che le condizioni di trattamento sono le stesse per tutti i destinatari. Più formalmente, SUTVA assume l'indipendenza tra i risultati potenziali e il meccanismo di assegnazione.
Considera il problema a due campioni con i partecipanti assegnati in modo casuale a un gruppo di controllo o un gruppo di trattamento. SUTVA verrebbe violato se, ad esempio, due partecipanti allo studio fossero a conoscenza e lo stato di assegnazione di uno di essi esercitasse una certa influenza sul risultato dell'altro. Questo è ciò che si intende per nessuna interferenza tra le unità.
La discussione di cui sopra si applica al test di randomizzazione in cui i partecipanti sono stati assegnati in modo casuale ai gruppi. Nel contesto di un test di permutazione, SUTVA è anche necessario, ma potrebbe non basarsi sulla randomizzazione perché non ce n'era.
In assenza di assegnazione casuale, la validità dei test di permutazione può basarsi su ipotesi distributive come identica forma di distribuzione o distribuzioni simmetriche (a seconda del test) per soddisfare la possibilità di scambiare (vedi Box and Anderson, JRSSB, 1955).
In un articolo interessante, Hayes, Psych Methods, 1996, mostra attraverso la simulazione come i tassi di errore di tipo I potrebbero gonfiarsi se si utilizzano test di permutazione con dati non randomizzati.