Inclusa l'interazione ma non i principali effetti in un modello

È mai valido includere un'interazione bidirezionale in un modello senza includere gli effetti principali? Che cosa succede se la tua ipotesi riguarda solo l'interazione, devi ancora includere gli effetti principali?

Nella mia esperienza, non solo è necessario avere tutti gli effetti di ordine inferiore nel modello quando sono collegati a effetti di ordine superiore, ma è anche importante modellare correttamente (ad esempio, permettendo di essere non lineari) gli effetti principali apparentemente non correlati i fattori nelle interazioni di interesse. Questo perché le interazioni tra e possono essere stand-in per gli effetti principali di e . Le interazioni a volte sembrano essere necessarie perché sono collineari con variabili omesse o termini non lineari omessi (es. Spline).x 2 x 3 x $x_1$$x_2$$x_3$$x_4$

Chiedi se è mai valido. Consentitemi di fornire un esempio comune, la cui spiegazione può suggerire ulteriori approcci analitici per voi.

L'esempio più semplice di un'interazione è un modello con una variabile dipendente e due variabili indipendenti , nella formaX $Z$$X$$Y$

$$Z = \alpha + \beta' X + \gamma' Y + \delta' X Y + \varepsilon,$$

con una variabile di termine casuale che ha zero aspettative e usa i parametri e . Spesso vale la pena verificare se approssima , poiché un'espressione algebricamente equivalente dello stesso modello èα , β ′ , γ ′ , δ ′ δ ′ β ′ γ $\varepsilon$$\alpha, \beta', \gamma',$$\delta'$$\delta'$$\beta' \gamma'$

$$Z = \alpha \left(1 + \beta X + \gamma Y + \delta X Y \right) + \varepsilon$$

$$= \alpha \left(1 + \beta X \right) \left(1 + \gamma Y \right) + \alpha \left( \delta - \beta \gamma \right) X Y + \varepsilon$$

(dove , ecc.).$\beta' = \alpha \beta$

Quindi, se c'è un motivo per supporre , possiamo assorbirlo nel termine di errore . Questo non solo dà una "pura interazione", ma lo fa senza un termine costante. Questo a sua volta suggerisce fortemente di assumere logaritmi. Una certa eteroscedasticità nei residui - cioè una tendenza per i residui associati a valori maggiori di ad essere più grandi in valore assoluto rispetto alla media - indicherebbe anche in questa direzione. Vorremmo quindi esplorare una formulazione alternativa$\left( \delta - \beta \gamma \right) \sim 0$$\varepsilon$$Z$

$$\log(Z) = \log(\alpha) + \log(1 + \beta X) + \log(1 + \gamma Y) + \tau$$

con errore casuale . Inoltre, se prevediamo che e saranno grandi rispetto a , proporremmo invece solo il modello$\tau$$\beta X$$\gamma Y$$1$

$$\log(Z) = \left(\log(\alpha) + \log(\beta) + \log(\gamma)\right) + \log(X) + \log(Y) + \tau$$

$$= \eta + \log(X) + \log(Y) + \tau.$$

Questo nuovo modello ha un solo parametro invece di quattro parametri ( , , ecc.) Soggetti a una relazione quadratica ( ), una notevole semplificazione.$\eta$$\alpha$$\beta'$$\delta' = \beta' \gamma'$

Non sto dicendo che questo è un passo necessario o addirittura l'unico da fare, ma sto suggerendo che questo tipo di riarrangiamento algebrico del modello di solito merita di essere preso in considerazione ogni volta che le interazioni da sole sembrano essere significative.

Alcuni eccellenti modi per esplorare i modelli con l'interazione, in particolare con solo due e tre variabili indipendenti, appaiono nei capitoli 10-13 dell'EDA di Tukey .

Mentre nei libri di testo viene spesso affermato che non si dovrebbe mai includere un'interazione in un modello senza i corrispondenti effetti principali, ci sono certamente esempi in cui ciò avrebbe perfettamente senso. Ti darò l'esempio più semplice che posso immaginare.

Supponiamo che i soggetti assegnati in modo casuale a due gruppi vengano misurati due volte, una volta al basale (cioè subito dopo la randomizzazione) e una volta dopo che il gruppo T ha ricevuto un qualche tipo di trattamento, mentre il gruppo C no. Quindi un modello di misure ripetute per questi dati includerebbe un effetto principale per l'occasione di misurazione (una variabile fittizia che è 0 per la linea di base e 1 per il follow-up) e un termine di interazione tra il gruppo fittizio (0 per C, 1 per T ) e il tempo fittizio.

Il modello intercetta quindi stima il punteggio medio dei soggetti al basale (indipendentemente dal gruppo in cui si trovano). Il coefficiente per il manichino dell'occasione di misurazione indica la variazione nel gruppo di controllo tra la baseline e il follow-up. E il coefficiente per il termine di interazione indica quanto maggiore / minore fosse la variazione nel gruppo di trattamento rispetto al gruppo di controllo.

Qui, non è necessario includere l'effetto principale per il gruppo, perché alla base i gruppi sono equivalenti per definizione a causa della randomizzazione.

Si potrebbe ovviamente sostenere che l'effetto principale per il gruppo dovrebbe ancora essere incluso, in modo che, nel caso in cui la randomizzazione fallisse, questo sarà rivelato dall'analisi. Tuttavia, ciò equivale a testare i mezzi di base dei due gruppi uno contro l'altro. E ci sono molte persone che aggrottano le sopracciglia per verificare le differenze di base negli studi randomizzati (ovviamente, ci sono anche molte persone che lo trovano utile, ma questo è un altro problema).

Il motivo per mantenere i principali effetti nel modello è l'identificabilità. Pertanto, se lo scopo è l'inferenza statistica su ciascuno degli effetti, è necessario mantenere gli effetti principali nel modello. Tuttavia, se il tuo scopo di modellazione è solo quello di prevedere nuovi valori, è perfettamente legittimo includere solo l'interazione se ciò migliora l'accuratezza predittiva.

questo è implicito in molte delle risposte che altri hanno dato, ma il punto semplice è che i modelli con un termine di prodotto ma senza il moderatore e il predittore sono solo modelli diversi. Capisci cosa significa ciascuno dato il processo che stai modellando e se un modello senza moderatore e predittore ha più senso data la tua teoria o ipotesi. L'osservazione che il termine prodotto è significativo, ma solo quando il moderatore e il predittore non sono inclusi non ti dice nulla (tranne forse che stai cercando un "significato") senza una spiegazione convincente del perché abbia senso lasciarli fuori .

Probabilmente dipende da cosa stai usando il tuo modello. Ma non ho mai visto un motivo per non eseguire e descrivere modelli con effetti principali, anche nei casi in cui l'ipotesi riguarda solo l'interazione.

Prenderò in prestito un paragrafo dal libro Un'introduzione all'analisi della sopravvivenza usando Stata di M.Cleves, R.Gutierrez, W.Gould, Y.Marchenko a cura della stampa di Stata per rispondere alla tua domanda.

È comune leggere che gli effetti di interazione dovrebbero essere inclusi nel modello solo quando sono inclusi anche gli effetti principali corrispondenti, ma non c'è nulla di sbagliato nell'includere da soli gli effetti di interazione. [...] L'obiettivo di un ricercatore è di parametrizzare ciò che è ragionevolmente probabile che sia vero per i dati considerando il problema in questione e non semplicemente seguendo una prescrizione.

Sia x che y saranno correlati con xy (a meno che non sia stata presa una misura specifica per impedirlo usando la centratura). Pertanto, se si ottiene un sostanziale effetto di interazione con il proprio approccio, si tratterà probabilmente di uno o più effetti principali mascherati da interazione. Ciò non produrrà risultati chiari e interpretabili. Ciò che è desiderabile è invece vedere quanto l'interazione può spiegare oltre a ciò che fanno gli effetti principali, includendo x , y e (preferibilmente in una fase successiva) xy .

Per quanto riguarda la terminologia: sì, β 0 è chiamata "costante". D'altra parte, "parziale" ha significati specifici nella regressione e quindi non userei questo termine per descrivere la tua strategia qui.

Alcuni esempi interessanti che sorgeranno una volta in una luna blu sono descritti in questo thread .

Suggerirei che è semplicemente un caso speciale di incertezza del modello. Dal punto di vista bayesiano, lo trattate esattamente nello stesso modo in cui trattereste qualsiasi altro tipo di incertezza, mediante:

1. Calcolo della sua probabilità, se è l'oggetto di interesse
2. Integrarlo o fare una media, se non è di interesse, ma può comunque influenzare le tue conclusioni

Questo è esattamente ciò che le persone fanno quando testano "effetti significativi" usando t-quantili invece di normali quantili. Poiché hai incertezza sul "livello di rumore reale", tieni conto di ciò utilizzando una distribuzione più diffusa nei test. Quindi dal tuo punto di vista l '"effetto principale" è in realtà un "parametro fastidioso" in relazione alla domanda che stai ponendo. Quindi fai una media dei due casi (o più in generale, rispetto ai modelli che stai considerando). Quindi avrei l'ipotesi (vaga):

$$\newcommand{\int}{\mathrm{int}}H_{\int}:\text{The interaction between A and B is significant}$$ Direi che sebbene non sia stata definita con precisione, questa è la domanda a cui vuoi rispondere qui. E nota che non sono le dichiarazioni verbali come sopra che "definiscono" l'ipotesi, ma anche le equazioni matematiche. Abbiamo alcuni dati e le informazioni precedenti , quindi calcoliamo semplicemente: (piccola nota: non importa quante volte scrivo questa equazione, mi aiuta sempre a capire meglio il problema. Strano). La quantità principale da calcolare è la probabilità , questo non fa alcun riferimento al modello, quindi il modello deve essere stato rimosso usando la legge della probabilità totale: $D$$I$ $$P(H_{\int}|DI)=P(H_{\int}|I)\frac{P(D|H_{\int}I)}{P(D|I)}$$ $P(D|H_{int}I)$ $$P(D|H_{\int}I)=\sum_{m=1}^{N_{M}}P(DM_{m}|H_{\int}I)=\sum_{m=1}^{N_{M}}P(M_{m}|H_{\int}I)P(D|M_{m}H_{\int}I)$$ Dove indicizza il mth modello e è il numero di modelli considerati. Il primo termine è il "peso del modello" che indica quanto i dati e le informazioni precedenti supportano il modello mth. Il secondo termine indica quanto il modello mth supporti l'ipotesi. Ricollegando questa equazione al teorema originale di Bayes si ottiene: $M_{m}$$N_{M}$ $$P(H_{\int}|DI)=\frac{P(H_{\int}|I)}{P(D|I)}\sum_{m=1}^{N_{M}}P(M_{m}|H_{\int}I)P(D|M_{m}H_{int}I)$$ $$=\frac{1}{P(D|I)}\sum_{m=1}^{N_{M}}P(DM_{m}|I)\frac{P(M_{m}H_{\int}D|I)}{P(DM_{m}|I)}=\sum_{m=1}^{N_{M}}P(M_{m}|DI)P(H_{\int}|DM_{m}I)$$

E da questo si può vedere che è la "conclusione condizionale" dell'ipotesi secondo il modello mth (questo di solito è tutto ciò che viene considerato, per un modello "migliore" scelto ). Si noti che questa analisi standard è giustificata ogni volta che - un modello "ovviamente migliore" - o ogni volta che - tutti i modelli danno le stesse / conclusioni simili. Tuttavia, se nessuno dei due è soddisfatto, il Teorema di Bayes afferma che la procedura migliore è quella di calcolare la media dei risultati, ponendo pesi più elevati sui modelli che sono maggiormente supportati dai dati e dalle informazioni precedenti.P ( M m | D I ) ≈ 1 P ( H i n t | D M j I ) ≈ P ( H i n t | D M k I $P(H_{\int}|DM_{m}I)$$P(M_{m}|DI)\approx 1$$P(H_{\int}|DM_{j}I)\approx P(H_{\int}|DM_{k}I)$

Molto raramente è una buona idea includere un termine di interazione senza i principali effetti in esso coinvolti. David Rindskopf di CCNY ha scritto alcuni articoli su quei rari casi.

Esistono vari processi in natura che coinvolgono solo un effetto di interazione e leggi che li decretano. Ad esempio la legge di Ohm. In psicologia hai ad esempio il modello di performance di Vroom (1964): Performance = Ability x Motivation.Ora, potresti aspettarti di trovare un effetto di interazione significativo quando questa legge è vera. Purtroppo, non è così. Potresti facilmente trovare due effetti principali e un effetto di interazione insignificante (per una dimostrazione e ulteriori spiegazioni vedi Landsheer, van den Wittenboer e Maassen (2006), Social Science Research 35, 274-294). Il modello lineare non è molto adatto per rilevare effetti di interazione; Ohm non avrebbe mai trovato la sua legge quando avesse usato modelli lineari.

Di conseguenza, è difficile interpretare gli effetti dell'interazione nei modelli lineari. Se hai una teoria che prevede un effetto di interazione, dovresti includerlo anche se insignificante. Potresti voler ignorare gli effetti principali se la tua teoria li esclude, ma lo troverai difficile, poiché effetti principali significativi si trovano spesso nel caso di un vero meccanismo di generazione di dati che ha solo un effetto moltiplicativo.

La mia risposta è: Sì, può essere valido includere un'interazione a due vie in un modello senza includere gli effetti principali. I modelli lineari sono strumenti eccellenti per approssimare i risultati di una grande varietà di meccanismi di generazione dei dati, ma le loro formule non possono essere facilmente interpretate come una descrizione valida del meccanismo di generazione dei dati.

Questo è complicato e mi è successo nel mio ultimo progetto. Spiegherei in questo modo: supponiamo che tu abbia avuto variabili A e B che sono emerse in modo indipendente e dal punto di vista commerciale hai pensato che un'interazione di A e B sembra buona. Hai incluso l'interazione risultata significativa ma B ha perso significato. Spiegheresti inizialmente il tuo modello mostrando due risultati. I risultati mostrerebbero che inizialmente B era significativo ma, visto alla luce di A, perse la sua lucentezza. Quindi B è una buona variabile ma solo se vista alla luce dei vari livelli di A (se A è una variabile categoriale). È come dire che Obama è un buon leader se visto alla luce del suo esercito SEAL. Quindi il sigillo Obama * sarà una variabile significativa. Ma Obama visto da solo potrebbe non essere così importante. (Senza offesa per Obama, solo un esempio.)

F = m * a, la forza è uguale all'accelerazione di massa.

Non è rappresentato come F = m + a + ma, o qualche altra combinazione lineare di tali parametri. In effetti, solo l'interazione tra massa e accelerazione avrebbe senso fisicamente.

È mai valido includere un'interazione a due vie senza effetto principale?

Sì, può essere valido e persino necessario. Se, ad esempio, in 2. includessi un fattore per l'effetto principale (differenza media tra blu e rosso) ciò peggiorerebbe il modello.

Che cosa succede se la tua ipotesi riguarda solo l'interazione, devi ancora includere gli effetti principali?

La tua ipotesi potrebbe essere vera indipendentemente dall'effetto principale. Ma il modello potrebbe averne bisogno per descrivere al meglio il processo sottostante. Quindi sì, dovresti provare con e senza.

Nota: è necessario centrare il codice per la variabile indipendente "continua" (misurazione nell'esempio). In caso contrario, i coefficienti di interazione nel modello non verranno distribuiti simmetricamente (nessun coefficiente per la prima misurazione nell'esempio).

Se le variabili in questione sono categoriche, includere le interazioni senza gli effetti principali è solo una nuova parametrizzazione del modello e la scelta della parametrizzazione dipende da ciò che si sta tentando di realizzare con il proprio modello. Interagire variabili continue con altre variabili continue o con variabili categoriali è una storia completamente diversa. Vedi: guarda questa domanda dall'Istituto per la ricerca e l'istruzione digitale dell'UCLA

Sì, questo può essere valido, anche se è raro. Ma in questo caso devi ancora modellare gli effetti principali, che successivamente regredirai.

In effetti, in alcuni modelli, solo l'interazione è interessante, come i test farmacologici / i modelli clinici. Questa è ad esempio la base del modello Generalized PsychoPhysiological Interactions (gPPI): y = ax + bxh + chdove x/ysono i voxel / le regioni di interesse e hi progetti di blocco / eventi.

In questo modello, entrambi ae csaranno regrediti, bverranno mantenuti solo per deduzione (i coefficienti beta). In effetti, entrambi ae crappresentano l'attività spuria nel nostro caso e brappresentano solo ciò che non può essere spiegato dall'attività spuria, l'interazione con l'attività.

La risposta breve: se includi l'interazione negli effetti fissi, gli effetti principali vengono automaticamente inclusi indipendentemente dal fatto che tu li includa o meno nel tuo codice . L'unica differenza è la tua parametrizzazione, vale a dire cosa significano i parametri nel tuo modello (ad esempio, sono mezzi di gruppo o sono differenze rispetto ai livelli di riferimento).

Presupposti: suppongo che stiamo lavorando nel modello lineare generale e ci chiediamo quando possiamo usare la specifica di effetti fissi invece di , dove e sono fattori (categorici).A + B + A B A $AB$$A + B + AB$$A$$B$

Chiarimento matematico: assumiamo che il vettore di risposta . Se , e sono le matrici di progettazione per i tre fattori, un modello con "effetti principali e interazione" corrisponde alla restrizione span . Un modello con "solo interazione" corrisponde alla restrizione span . Tuttavia , span span . Quindi, si tratta di due diverse parametrizzazioni della stesso modelloX A X B X A B ξ ∈ { X A , X B , X A B } ξ ∈ { X A B } { X A B } = { X A , X B , X A B$Y \sim \mathcal N(\xi , \sigma^2 I_n )$$X_A$$X_B$$X_{AB}$$\xi \in$$\{X_A, X_B, X_{AB}\}$$\xi \in$$\{X_{AB}\}$$\{X_{AB}\} =$$\{X_A, X_B, X_{AB}\}$ (o la stessa famiglia di distribuzioni se ti senti più a tuo agio con quella terminologia).

Ho appena visto che David Beede ha fornito una risposta molto simile (scuse), ma ho pensato che avrei lasciato perdere questo argomento per coloro che rispondono bene a una prospettiva di algebra lineare.