Test statistici comuni come modelli lineari

(AGGIORNAMENTO: mi sono approfondito e ho pubblicato i risultati qui )

L'elenco dei test statistici nominati è enorme. Molti dei test comuni si basano sull'inferenza da semplici modelli lineari, ad esempio un test t di un campione è solo y = β + ε che viene testato rispetto al modello nullo y = μ + ε cioè che β = μ dove μ è un valore nullo valore - in genere μ = 0.

Trovo che questo sia un po 'più istruttivo ai fini dell'insegnamento rispetto all'apprendimento meccanico dei modelli nominati, quando usarli e i loro presupposti come se non avessero nulla a che fare l'uno con l'altro. Questo approccio promuove non promuove la comprensione. Tuttavia, non riesco a trovare una buona risorsa per raccogliere questo. Sono più interessato alle equivalenze tra i modelli sottostanti piuttosto che al metodo di inferenza da essi. Sebbene, per quanto posso vedere, i test del rapporto di verosimiglianza su tutti questi modelli lineari producano gli stessi risultati dell'inferenza "classica".

Ecco le equivalenze che ho imparato finora, ignorando il termine di errore e assumendo che tutte le ipotesi null siano l'assenza di un effetto: $\varepsilon \sim \mathcal N(0, \sigma^2)$

Test t per un campione: . $y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Test t per campioni : $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Ciò è identico a un test t per un campione sulle differenze a coppie.

T-test a due campioni: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

dove x è un indicatore (0 o 1).

Correlazione di Pearson: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Notare la somiglianza con un test t a due campioni che è solo una regressione su un asse x binario.

Correlazione di Spearman: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Ciò è identico a una correlazione di Pearson su x e y trasformati di rango.

ANOVA a una via: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

dove sono indicatori che selezionano la pertinente (una è 1; le altre sono 0). Il modello potrebbe probabilmente essere scritto in forma matriciale come come . $x_i$ $\beta$ $x$ $Y = \beta * X$

ANOVA a due vie: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

per due fattori a due livelli. Qui sono vettori di beta in cui uno è selezionato dal vettore indicatore . Il mostrato qui è l'effetto di interazione. $\beta_i$ $X_i$ $\mathcal{H}_0$

Potremmo aggiungere altri "test nominati" a questo elenco di modelli lineari? Ad esempio, regressione multivariata, altri test "non parametrici", test binomiali o RM-ANOVA?

AGGIORNAMENTO: sono state poste domande e risposte su ANOVA e t-test come modelli lineari qui su SO. Vedi questa domanda e domande correlate taggate .

— Jonas Lindeløv
fonte

Penso che questi confronti siano appropriati ma che ad un certo punto ci siano anche sottili differenze. Ad esempio, prendi l'ANOVA a senso unico: dove una regressione lineare ti fornirà i coefficienti e nella maggior parte dei pacchetti software la significatività per coefficiente con i test di Wald (che potrebbero non essere appropriati), un ANOVA fornirà un singolo valore p che indica se uno dei coefficienti è significativamente diverso da zero. Un test del rapporto di verosimiglianza tra un modello nullo e il modello di regressione di interesse potrebbe essere più comparabile. Pertanto, non uniformerei completamente questi test / modelli.

— IWS,

Buon punto; Ho aggiornato la domanda, dicendo che "Sono più interessato alle equivalenze tra i modelli sottostanti piuttosto che al metodo di inferenza da essi". I test del rapporto di verosimiglianza sugli ANOVA a senso unico e i termini di interazione producono valori p identici alle analisi "classiche" per quanto riguarda i miei test.

— Jonas Lindeløv,

Abbastanza giusto, ma a parte l'inferenza, si noti che i modelli di regressione forniscono anche una maggiore flessibilità quando si maneggia la non linearità (anche se le trasformazioni potrebbero anche essere testate con questi "test nominati", le spline sono una questione diversa) o si maneggiano l'eteroscedasticità, senza nemmeno menzionare la famiglia di modelli generalizzati che gestiscono anche variabili dipendenti non continue. Tuttavia, posso vedere che spiegare i test nominati come variazioni restrittive dei modelli di regressione a fini didattici può avere un merito, quindi +1

— IWS,

La correlazione tra gradi di Spearman è davvero un modello lineare?

— Martin Dietz,

@MartinDietz: Sì, dopo aver trasformato i ranghi xey, è lineare. Codice R:x = rnorm(100); y = rnorm(100); summary(lm(rank(x) ~ rank(y))); cor.test(x, y, method='spearman')

— Jonas Lindeløv,

Non un elenco esaustivo ma se si includono modelli lineari generalizzati , l'ambito di questo problema diventa sostanzialmente più ampio.

Per esempio:

E [logit (p) | t] = β_{0} + β_{1} t H_{0} : β_{1} = 0

$E[\mbox{logit} (p) | t] = \beta_0 + \beta_1 t \qquad \mathcal{H}_0: \beta_1 = 0$

$p \times k$

E [\log (μ)] = β_{0} + β_{io .} + β_{. j} + γ_{io j} io, j > 1 H_{0} : γ_{io j} = 0, io, j > 1

$E[\log (\mu)] = \beta_0 + \beta_{i.} + \beta_{.j} + \gamma_{ij} \quad i,j > 1 \qquad\mathcal{H}_0: \gamma_{ij} = 0, \quad i,j > 1$

Anche il test t per varianze disuguali è ben approssimato usando la stima dell'errore robusto di Huber White.

— ADAMO
fonte