T-test accoppiato contro non accoppiato

Supponiamo che io abbia 20 topi. Ho accoppiato i topi in qualche modo, in modo da ottenere 10 coppie. Ai fini di questa domanda, potrebbe essere un accoppiamento casuale, O potrebbe essere un accoppiamento sensato, come cercare di accoppiare topi della stessa cucciolata, dello stesso sesso, con peso simile, O potrebbe essere un accoppiamento deliberatamente stupido come cercando di accoppiare i topi con pesi il più possibile ineguagliabili. Quindi uso numeri casuali per assegnare un topo in ciascuna coppia al gruppo di controllo e l'altro topo al gruppo da trattare. Ora faccio l'esperimento, trattando solo i topi da trattare, ma per il resto non faccio alcuna attenzione alle disposizioni appena prese.

Quando si arriva ad analizzare i risultati, si potrebbe usare un test t accoppiato o un test t accoppiato. In che modo le eventuali risposte differiranno? (Sono sostanzialmente interessato alle differenze sistematiche di qualsiasi parametro statistico che deve essere stimato.)

Il motivo per cui lo chiedo è che un articolo con cui sono stato recentemente coinvolto è stato criticato da un biologo per l'utilizzo di un test t accoppiato piuttosto che di un test t spaiato. Naturalmente, nell'esperimento vero e proprio, la situazione non era così estrema come quella che ho disegnato e c'erano, secondo me, buone ragioni per l'accoppiamento. Ma il biologo non era d'accordo.

Mi sembra che non sia possibile migliorare in modo errato la significatività statistica (ridurre il valore p), nelle circostanze che ho tracciato, utilizzando un test t accoppiato, piuttosto che un test non accoppiato, anche se non è appropriato accoppiarlo. Potrebbe tuttavia peggiorare il significato statistico se i topi fossero mal accoppiati. È giusto?

Concordo con i punti sollevati sia da Frank che da Peter, ma penso che esista una formula semplice che affronti il ​​problema e che potrebbe valere la pena prendere in considerazione l'OP.

Siano e Y due variabili casuali la cui correlazione è sconosciuta.$X$$Y$

Sia $Z=X-Y$

Qual è la varianza di ?$Z$

Ecco la formula semplice: Cosa succede se Cov ( X , Y ) > 0 (ovvero, X e Y sono correlati positivamente)?

Quindi $\text{Var}(Z)\lt \text{Var}(X)+\text{Var}(Y)$. In questo caso, se l'associazione viene effettuata a causa di una correlazione positiva, ad esempio quando si ha a che fare con lo stesso soggetto, l'associazione prima e dopo l'intervento aiuta perché la differenza indipendente associata ha una varianza inferiore rispetto alla varianza ottenuta per il caso non accoppiato. Il metodo ha ridotto la varianza. Il test è più potente. Questo può essere drammaticamente mostrato con dati ciclici. Ho visto un esempio in un libro in cui volevano vedere se la temperatura a Washington DC è più alta che a New York City. Quindi hanno preso la temperatura media mensile in entrambe le città per circa 2 anni. Naturalmente c'è una grande differenza nel corso dell'anno a causa delle quattro stagioni. Questa variazione è troppo grande per un test t spaiato per rilevare una differenza. Tuttavia, l'abbinamento basato sullo stesso mese dello stesso anno elimina questo effetto stagionale e l'abbinamento test ha mostrato chiaramente che la temperatura media in DC tendeva ad essere più alta che a New York. X i (temperatura a New York nel mese A ) e Y i (temperatura a DC nel mese A ) sono positivamente correlati perché le stagioni sono le stesse a New York e DC e le città sono abbastanza vicine da sperimentare spesso gli stessi sistemi meteorologici che influire sulla temperatura. DC può essere un po 'più caldo perché è più a sud.$t$$X_i$$A$$Y_i$$A$

Si noti che maggiore è la covarianza o la correlazione maggiore è la riduzione della varianza.

Supponiamo ora che sia negativo.$\text{Cov}(X,Y)$

Quindi . Ora l'abbinamento sarà peggio che non l'abbinamento perché la varianza è effettivamente aumentata!$\text{Var}(Z) \gt \text{Var}(X)+\text{Var}(Y)$

Quando e Y non sono correlati, probabilmente non importa quale metodo usi. Il caso di accoppiamento casuale di Peter è come questa situazione.$X$$Y$

Piuttosto che accoppiare è probabilmente meglio capire il modello di dati sottostante. Se l'associazione viene eseguita per gestire l'eterogeneità incontrollata, di solito è il caso (tranne che negli studi sui gemelli) che l'associazione controlla solo parzialmente questa fonte di variabilità e la regressione multipla farebbe meglio. Questo perché la corrispondenza su variabili continue comporta spesso una variabilità residua perché non è possibile eseguire la corrispondenza esatta su tali variabili.

I due test (accoppiati e non accoppiati) pongono domande diverse in modo che possano ottenere risposte diverse. L'abbinamento corretto è quasi sempre più potente di quello non accoppiato - questo è davvero il punto di accoppiamento. Pertanto, poiché si afferma che l'associazione è corretta, è probabile che il valore p per il test associato sia inferiore rispetto agli stessi dati non accoppiati. Ovviamente potresti fare entrambe le cose e vedere di persona.

Pertanto, la risposta al tuo dilemma è sostanziale, non statistica. Il tuo abbinamento è giusto?

Potresti ottenere un risultato più significativo dall'associazione casuale che da un test non accoppiato? Vediamo:

set.seed(2910110192)
x <- rnorm(100, 10, 2)
y <- rnorm(100, 10, 2)
t.test(x, y)
t.test(x, y, paired = T)

Sì, puoi, anche se qui la differenza è molto piccola, l'abbinamento ha avuto un p inferiore. Ho eseguito quel codice più volte. Non sorprende che a volte una p sia più bassa, a volte l'altra, ma la differenza era piccola in tutti i casi. Tuttavia, sono sicuro che in alcune situazioni la differenza nei valori di p potrebbe essere grande.

Ora capisco molto meglio ciò che mi preoccupava dei test t accoppiati rispetto a quelli non accoppiati e dei valori p associati. Scoprirlo è stato un viaggio interessante e ci sono state molte sorprese lungo il cammino. Una sorpresa è derivata da un'indagine sul contributo di Michael. Ciò è irreprensibile in termini di consigli pratici. Inoltre, dice quello che penso praticamente tutti gli statistici credono, e ha diversi voti a sostegno di questo. Tuttavia, come un pezzo di teoria, non è letteralmente corretto. Ho scoperto questo elaborando le formule per i valori p e poi pensando attentamente come utilizzare le formule per condurre a contro-esempi. Sono un matematico di formazione e il controesempio è un "controesempio di matematico". Non è qualcosa che potresti incontrare nelle statistiche pratiche, il tipo di cosa che stavo cercando di scoprire quando ho posto la mia domanda originale.

Ecco il codice R che fornisce il contro-esempio:

vLength <- 10; meanDiff <-10^9; numSamples <- 3;
pv <- function(vLength,meanDiff) {
    X <- rnorm(vLength)
    Y <- X - meanDiff + rnorm(vLength,sd=0.0001)
    Paired <- t.test(X,Y,var.equal=T,paired=T)
    NotPaired <- t.test(X,Y,var.equal=T,paired=F)
    c(Paired$p.value,NotPaired$p.value,cov(X,Y))
}
ans <- replicate(numSamples,pv(vLength,meanDiff))

Nota le seguenti caratteristiche: X e Y sono due 10 tuple la cui differenza è enorme e quasi costante. Per molte cifre significative, la correlazione è 1.000 .... Il valore p per il test non accoppiato è circa 10 ^ 40 volte più piccolo del valore p per il test accoppiato. Quindi questo contraddice il racconto di Michael, a condizione che si legga il suo resoconto letteralmente in stile matematico. Qui finisce la parte della mia risposta relativa alla risposta di Michael.

Ecco i pensieri spinti dalla risposta di Peter. Durante la discussione della mia domanda originale, ho ipotizzato in un commento che due particolari distribuzioni di valori p che suonano diversi sono in realtà le stesse. Ora posso provarlo. Ciò che è più importante è che la prova rivela la natura fondamentale di un valore p, così fondamentale che nessun testo (che mi sono imbattuto) disturba a spiegare. Forse tutti gli statistici professionisti conoscono il segreto, ma per me la definizione di p-value mi è sempre sembrata strana e artificiale. Prima di rivelare il segreto dello statistico, vorrei specificare la domanda.

$n>1$$n$$2(n-1)$$n-1$gradi di libertà. Queste due distribuzioni sono diverse, quindi come mai le distribuzioni associate dei valori p potrebbero essere le stesse? Solo dopo ulteriori riflessioni mi sono reso conto che questo ovvio licenziamento della mia congettura era troppo facile.

$f:(0,\infty)\to (0,\infty)$$[0,1]$

$[0,1]$

$n-1$$[0,1]$$2(n-1)$$[0,1]$$[0,1]$

Vorrei offrire un'altra prospettiva. Spesso l'associazione viene eseguita per ridurre la distorsione. Supponiamo che tu sia interessato a sapere se l'esposizione E è un fattore di rischio per un risultato continuo Y. Per ogni soggetto E +, ottieni un soggetto corrispondente all'età e al sesso che è E-. Ora, potremmo eseguire un test t accoppiato o un test t non accoppiato. Penso che dovremmo tenere conto della corrispondenza esplicita e condurre un test t accoppiato. È più di principio in quanto tiene conto del progetto. Se prendere in considerazione la corrispondenza nell'analisi è una questione del compromesso di bias varianza. La contabilità per la corrispondenza nell'analisi fornisce una maggiore protezione contro la distorsione, ma può aumentare la varianza. Fare un t-test spaiato può essere più efficiente, ma non fornirebbe alcuna protezione contro i pregiudizi.