Perché abbiamo bisogno della regressione multivariata (al contrario di un mucchio di regressioni univariate)?

Ho appena sfogliato questo meraviglioso libro: analisi statistica multivariata applicata di Johnson e Wichern . L'ironia è che non sono ancora in grado di comprendere la motivazione per l'utilizzo di modelli multivariati (regressione) invece di modelli univariati separati (regressione). Ho esaminato i post 1 e 2 di stats.statexchange che spiegano (a) la differenza tra regressione multipla e multivariata e (b) l'interpretazione dei risultati della regressione multivariata, ma non sono in grado di ottimizzare l'uso di modelli statistici multivariati da tutte le informazioni che mettiti online su di loro.

Le mie domande sono:

1. Perché abbiamo bisogno della regressione multivariata? Qual è il vantaggio di considerare i risultati simultaneamente piuttosto che individualmente, al fine di trarre inferenze.
2. Quando utilizzare modelli multivariati e quando utilizzare più modelli univariati (per risultati multipli).
3. Prendi un esempio nel sito dell'UCLA con tre risultati: locus of control, concetto di sé e motivazione. Rispetto a 1. e 2., possiamo confrontare l'analisi quando eseguiamo tre regressioni multiple univariate rispetto a una regressione multipla multivariata? Come giustificare l'uno sull'altro?
4. Non ho trovato molti documenti accademici che utilizzano modelli statistici multivariati. Ciò è dovuto al presupposto della normalità multivariata, alla complessità dell'adattamento / interpretazione del modello o ad altri motivi specifici?

Hai letto l'esempio completo sul sito UCLA che hai collegato?

Riguardo a 1: L'
uso di un modello multivariato ti aiuta (formalmente, inferenzialmente) a confrontare i coefficienti tra i risultati.
In questo esempio collegato, usano il modello multivariato per verificare se il writecoefficiente è significativamente diverso per il locus_of_controlrisultato rispetto al self_conceptrisultato. Non sono uno psicologo, ma presumibilmente è interessante chiederti se la tua abilità di scrittura influenza / prevede due diverse variabili psicologiche allo stesso modo. (Oppure, se non crediamo al nulla, è comunque interessante chiederti se hai raccolto abbastanza dati per dimostrare in modo convincente che gli effetti differiscono davvero.)
Se avessi eseguito analisi univariate separate, sarebbe più difficile confrontare ilwritecoefficiente tra i due modelli. Entrambe le stime verrebbero dallo stesso set di dati, quindi sarebbero correlate. Il modello multivariato tiene conto di questa correlazione.

Inoltre, per quanto riguarda 4:
Ci sono alcuni modelli multivariati molto di uso comune, come ad esempio Misure ripetute ANOVA . Con un disegno di studio appropriato, immagina di dare ciascuno dei diversi farmaci a ogni paziente e di misurare la salute di ogni paziente dopo ogni farmaco. Oppure immagina di misurare lo stesso risultato nel tempo, come per i dati longitudinali, ad esempio le altezze dei bambini nel tempo. Quindi hai più risultati per ogni unità (anche quando sono solo ripetizioni dello "stesso" tipo di misurazione). Probabilmente vorrai fare almeno alcuni semplici contrasti: confrontare gli effetti del farmaco A con il farmaco B o gli effetti medi dei farmaci A e B rispetto al placebo. Per questo, le misure ripetute ANOVA è un modello / analisi statistica multivariata appropriata.

Pensa a tutte le conclusioni false e talvolta pericolose che derivano semplicemente dalla moltiplicazione delle probabilità, pensando che gli eventi siano indipendenti. A causa di tutte le protezioni ridondanti incorporate, abbiamo inserito nelle nostre centrali nucleari esperti in base al presupposto di indipendenza che ci hanno detto che la possibilità di un grave incidente nucleare era infinitesimale. Ma come abbiamo visto a Three Mile Island, gli umani commettono errori correlati soprattutto quando sono in preda al panico a causa di un errore iniziale che può rapidamente aggravarsi. Potrebbe essere difficile costruire un modello multivariato realistico che caratterizza il comportamento umano ma realizzare l'effetto di un modello orribile (errori indipendenti) è chiaro.

Ci sono molti altri esempi possibili. Prenderò il disastro di Challenger Shuttle come un altro possibile esempio. La domanda era se lanciarsi o meno a basse temperature. Vi erano alcuni dati che suggerivano che gli o-ring potessero guastarsi a basse temperature. Ma non c'erano molti dati dalle missioni passate per chiarire quanto fosse alto il rischio. La NASA si è sempre preoccupata della sicurezza degli astronauti e molti licenziamenti sono stati progettati nell'astronave e hanno lanciato veicoli per rendere sicure le missioni.

Tuttavia, prima del 1986, c'erano alcuni guasti di sistema e quasi guasti probabilmente dovuti al fatto di non identificare tutte le possibili modalità di guasto (un compito difficile). La modellazione dell'affidabilità è un affare difficile. Ma questa è un'altra storia. Nel caso dello shuttle il produttore degli o-ring (Morton Thiokol) aveva effettuato alcuni test sugli o-ring che indicavano la possibilità di guasto a bassa temperatura.

Ma i dati su un numero limitato di missioni hanno mostrato una certa relazione tra temperatura e guasto, ma poiché la ridondanza ha portato alcuni amministratori a pensare che non si sarebbero verificati più guasti agli O-ring, hanno esercitato pressioni sul lancio della NASA.

Naturalmente c'erano molti altri fattori che hanno portato alla decisione. Ricorda come il presidente Reagan era così ansioso di mettere un insegnante nello spazio in modo da dimostrare che ora era abbastanza sicuro che le persone comuni che non erano astronauti potevano viaggiare in sicurezza sulla navetta. Quindi la pressione politica è stata un altro grande fattore che ha influenzato la decisione. In questo caso con dati sufficienti e un modello multivariato il rischio avrebbe potuto essere meglio dimostrato. La NASA usa per tentare di sbagliare dal lato della cautela. In questo caso rimandare il lancio per alcuni giorni fino a quando il clima non si sarebbe riscaldato in Florida sarebbe stato prudente.

Commissioni post-disastro, ingegneri, scienziati e statistici hanno fatto molte analisi e sono stati pubblicati articoli. Le loro opinioni possono differire dalle mie. Edward Tufte ha dimostrato in una delle sue serie di libri sulla grafica che una buona grafica avrebbe potuto essere più convincente. Ma alla fine, sebbene tutte queste analisi abbiano tutti i meriti, penso che la politica avrebbe comunque vinto.

La morale di queste storie non è che questi disastri hanno motivato l'uso di metodi multivariati, ma piuttosto che scarse analisi che hanno ignorato la dipendenza a volte portano a gravi sottovalutazioni del rischio. Ciò può comportare un eccesso di fiducia che può essere pericoloso. Come ha sottolineato jwimberley nel primo commento a questa discussione "I modelli univariati separati ignorano le correlazioni".

Considera questa citazione da p. 36 del libro di Darcy Olsen The Right to Try [1]:

Ma circa sedici settimane dopo l'inizio delle infusioni di [eteplirsen], Jenn iniziò a notare i cambiamenti in [suo figlio] Max. "Il bambino ha smesso di voler usare la sua sedia a rotelle", dice. Alcune settimane dopo, stava chiedendo di suonare fuori - qualcosa che non faceva da anni. Quindi Max ha iniziato a riguadagnare le sue capacità motorie. Era in grado di aprire nuovamente i contenitori - un'abilità che aveva perso con il progredire della sua [distrofia muscolare di Duchenne].

La madre di Max, Jenn, sta costruendo un quadro coerente del suo miglioramento, raccogliendo prove da molteplici risultati che individualmente potrebbero essere liquidati come "rumore", ma che insieme sono abbastanza convincenti. (Questo principio di sintesi delle prove fa parte del motivo per cui i pediatri di norma non respingono mai le inferenze istintive di un genitore secondo cui "qualcosa non va nel mio bambino". I genitori hanno accesso a una "analisi longitudinale multivariata" dei loro figli molto più ricca dell '"oligovariata" analisi della sezione trasversale accessibile a un medico durante un singolo, breve incontro clinico.)

$p>0.05$

Il raggiungimento di tale sintesi di prove è la logica fondamentale per l'analisi degli esiti multivariati negli studi clinici. Alcuni anni fa [2] i metodi statistici nella ricerca medica avevano dedicato un tema alla "modellizzazione congiunta" dei risultati multivariati.

1. Olsen, Darcy. Il diritto di provare: in che modo il governo federale impedisce agli americani di ricevere i trattamenti salvavita di cui hanno bisogno. Prima edizione. New York, NY: Harper, un'impronta di HarperCollins Publishers, 2015.
2. Rizopoulos, Dimitris ed Emmanuel Lesaffre. "Introduzione al numero speciale sulle tecniche di modellazione congiunta". Metodi statistici nella ricerca medica 23, n. 1 (1 febbraio 2014): 3–10. DOI: 10,1177 / 0962280212445800.

Facciamo una semplice analogia, dato che è tutto ciò che posso davvero provare a contribuire. Invece della regressione univariata rispetto a quella multivariata, consideriamo le distribuzioni univariate (marginali) contro multivariate (congiunte). Di 'che ho i seguenti dati e voglio trovare "valori anomali". Come primo approccio, potrei usare le due distribuzioni marginali ("univariate") e tracciare linee al 2,5% inferiore e al 2,5% superiore di ciascuna in modo indipendente. I punti che cadono al di fuori delle linee risultanti sono considerati anomali.

Ma due cose: 1) cosa pensiamo dei punti che si trovano al di fuori delle linee per un asse ma all'interno delle linee per l'altro asse? Sono "valori anomali parziali" o qualcosa del genere? E 2) la casella risultante non sembra che stia davvero facendo quello che vogliamo. Il motivo è, ovviamente, che le due variabili sono correlate e ciò che intuitivamente desideriamo è trovare valori anomali insoliti considerando le variabili in combinazione.

In questo caso, esaminiamo la distribuzione congiunta e ho codificato i punti in base al colore, indipendentemente dal fatto che la loro distanza di Mahalanobis dal centro sia compresa o meno nel 5% superiore. I punti neri sembrano molto più simili a valori anomali, anche se alcuni valori anomali si trovano all'interno di entrambi i gruppi di linee verdi e alcuni non valori anomali (rosso) si trovano al di fuori di entrambi i gruppi di linee verdi.

In entrambi i casi, stiamo delimitando il 95% rispetto al 5%, ma la seconda tecnica rappresenta la distribuzione congiunta. Credo che la regressione multivariata sia così, in cui si sostituisce la "regressione" alla "distribuzione". Non lo capisco del tutto e non ho avuto la necessità (che ho capito) di fare da solo la regressione multivariata, ma questo è il modo in cui ci penso.

[L'analogia ha dei problemi: la distanza di Mahalanobis riduce due variabili a un singolo numero - qualcosa come il modo in cui una regressione univariata prende un insieme di variabili indipendenti e può, con le giuste tecniche, prendere in considerazione le covarianze tra le variabili indipendenti e risultati in una singola variabile dipendente - mentre una regressione multivariata si traduce in più variabili dipendenti. Quindi è un po 'indietro, ma si spera abbastanza avanti per dare un po' di intuizione.]

1) La natura non è sempre semplice. In effetti, la maggior parte dei fenomeni (risultati) che studiamo dipendono da più variabili e in modo complesso. Un modello inferenziale basato su una variabile alla volta avrà molto probabilmente una propensione elevata.

2) I modelli univariati sono il modello più semplice che puoi costruire, per definizione. Va bene se stai indagando su un problema per la prima volta e vuoi afferrare la sua singola funzionalità più essenziale. Ma se vuoi una comprensione più profonda, una comprensione che puoi effettivamente sfruttare perché ti fidi di ciò che stai facendo, utilizzeresti analisi multivariate. E tra quelli multivariati, dovresti preferire quelli che comprendono i modelli di correlazione, se ti interessa l'accuratezza del modello.

3) Spiacente, non ho tempo di leggere questo.

4) Le carte che usano tecniche multivariate sono molto comuni in questi giorni - anche estremamente comuni in alcuni campi. Durante gli esperimenti del CERN usando i dati del Large Hadron Collider (per prendere un esempio dalla fisica delle particelle), più della metà delle centinaia di articoli pubblicati ogni anno usano tecniche multivariate in un modo o nell'altro

https://inspirehep.net/search?ln=en&ln=en&p=find+cn+cms+&of=hb&action_search=Search&sf=earliestdate&so=d&rm=&rg=25&sc=0

La mia risposta dipende da cosa vuoi fare con la regressione. Se stai cercando di confrontare l'effetto di diversi coefficienti, la regressione potrebbe non essere lo strumento giusto per te. Se stai provando a fare previsioni usando coefficienti diversi che hai dimostrato essere indipendenti, allora forse dovresti usare la regressione multipla.

I fattori sono correlati? In tal caso, una regressione multivariata può fornire un modello errato e è necessario utilizzare un metodo come VIF o regressione della cresta per tagliare le correlazioni incrociate. Non si devono confrontare i coefficienti fino a quando non vengono eliminati i fattori correlati. Ciò causerà un disastro. Se non sono correlati tra loro, i coefficienti multivariati dovrebbero essere paragonabili ai coefficienti univariati e ciò non dovrebbe sorprendere.

Il risultato potrebbe anche dipendere dal pacchetto software in uso. Non sto scherzando. Pacchetti software diversi hanno metodi diversi per il calcolo della regressione multivariata. (Non mi credi? Controlla come il pacchetto di regressione R standard calcola R ² con e senza forzare l'origine come intercettazione. La mascella dovrebbe colpire il pavimento.) Devi capire come il pacchetto software sta eseguendo la regressione. In che modo compensa le correlazioni incrociate? Sta eseguendo una soluzione sequenziale o matrice? Ho avuto frustrazioni per questo in passato. Ti suggerisco di eseguire la tua regressione multipla su diversi pacchetti software e vedere cosa ottieni.

Un altro buon esempio qui:

Si noti che in questa equazione, i coefficienti di regressione (o coefficienti B) rappresentano i contributi indipendenti di ciascuna variabile indipendente per la previsione della variabile dipendente. Un altro modo per esprimere questo fatto è dire che, ad esempio, la variabile X1 è correlata alla variabile Y, dopo aver controllato tutte le altre variabili indipendenti. Questo tipo di correlazione viene anche definita correlazione parziale (questo termine è stato usato per la prima volta da Yule, 1907). Forse il seguente esempio chiarirà questo problema. Probabilmente potresti trovare una significativa correlazione negativa tra lunghezza e altezza dei capelli nella popolazione (cioè, le persone corte hanno i capelli più lunghi). All'inizio questo può sembrare strano; tuttavia, se dovessimo aggiungere la variabile Gender nell'equazione di regressione multipla, questa correlazione probabilmente scomparirebbe. Questo perché le donne, in media, hanno i capelli più lunghi degli uomini; sono anche più brevi in ​​media rispetto agli uomini. Pertanto, dopo aver rimosso questa differenza di genere immettendo Sesso nell'equazione, la relazione tra lunghezza e altezza dei capelli scompare perché la lunghezza dei capelli non fornisce alcun contributo unico alla previsione di altezza, al di sopra e al di là di ciò che condivide nella previsione con Sesso variabile . Detto in altro modo, dopo aver controllato per la variabile Sesso, la correlazione parziale tra lunghezza e altezza dei capelli è zero. la relazione tra lunghezza e altezza dei capelli scompare perché la lunghezza dei capelli non fornisce alcun contributo unico alla previsione dell'altezza, al di là di ciò che condivide nella previsione con il genere variabile. Detto in altro modo, dopo aver controllato per la variabile Sesso, la correlazione parziale tra lunghezza e altezza dei capelli è zero. la relazione tra lunghezza e altezza dei capelli scompare perché la lunghezza dei capelli non fornisce alcun contributo unico alla previsione dell'altezza, al di là di ciò che condivide nella previsione con il genere variabile. Detto in altro modo, dopo aver controllato per la variabile Sesso, la correlazione parziale tra lunghezza e altezza dei capelli è zero. http://www.statsoft.com/Textbook/Multiple-Regression

Ci sono così tante insidie ​​che usano la regressione multipla che cerco di evitare di usarlo. Se lo dovessi usare, fai molta attenzione ai risultati e ricontrolla. Dovresti sempre tracciare i dati visivamente per verificare la correlazione. (Solo perché il tuo programma software ha detto che non c'era alcuna correlazione, non significa che non ce ne fosse una. Interessanti correlazioni ) Controlla sempre i tuoi risultati con il buon senso. Se un fattore mostra una forte correlazione in una regressione univariata, ma nessuno in una multivariata, è necessario capire perché prima di condividere i risultati (il fattore di genere sopra è un buon esempio).