Trasformazione di variabili per regressione multipla in R

Sto cercando di eseguire una regressione multipla in R. Tuttavia, la mia variabile dipendente ha il seguente diagramma:

Ecco una matrice scatterplot con tutte le mie variabili ( WARè la variabile dipendente):

So che devo eseguire una trasformazione su questa variabile (e forse sulle variabili indipendenti?) Ma non sono sicuro dell'esatta trasformazione richiesta. Qualcuno può indicarmi la giusta direzione? Sono felice di fornire ulteriori informazioni sulla relazione tra le variabili indipendenti e dipendenti.

La grafica diagnostica della mia regressione è la seguente:

MODIFICARE

Dopo aver trasformato le variabili dipendenti e indipendenti utilizzando le trasformazioni Yeo-Johnson, i grafici diagnostici si presentano così:

Se uso un GLM con un log-link, i grafici diagnostici sono:

Il libro di John Fox Un compagno R per la regressione applicata è un'eccellente risorsa sulla modellazione della regressione applicata con R. Il pacchetto carche uso in questa risposta è il pacchetto di accompagnamento. Il libro ha anche come sito Web con capitoli aggiuntivi.

Trasformare la risposta (nota anche come variabile dipendente, risultato)

RlmboxCoxcar$\lambda$ (ovvero il parametro di potenza) con la massima probabilità. Poiché la tua variabile dipendente non è strettamente positiva, le trasformazioni Box-Cox non funzioneranno e devi specificare l'opzione family="yjPower"per utilizzare le trasformazioni Yeo-Johnson (vedi il documento originale qui e questo post correlato ):

boxCox(my.regression.model, family="yjPower", plotit = TRUE)

Questo produce una trama come la seguente:

La migliore stima di $\lambda$$\lambda$

Per trasformare subito la tua variabile dipendente, usa la funzione yjPowerdal carpacchetto:

depvar.transformed <- yjPower(my.dependent.variable, lambda)

lambda$\lambda$boxCox

Importante: anziché limitarsi a trasformare il log nella variabile dipendente, è necessario considerare di adattare un GLM con un log-link. Ecco alcuni riferimenti che forniscono ulteriori informazioni: primo , secondo , terzo . Per fare questo R, usa glm:

glm.mod <- glm(y~x1+x2, family=gaussian(link="log"))

dove yè la tua variabile dipendente e x1, x2ecc. sono le tue variabili indipendenti.

Trasformazioni di predittori

Le trasformazioni di predittori strettamente positivi possono essere stimate con la massima probabilità dopo la trasformazione della variabile dipendente. Per fare ciò, utilizzare la funzione boxTidwelldal carpacchetto (per il documento originale vedere qui ). Usalo così: boxTidwell(y~x1+x2, other.x=~x3+x4). La cosa importante qui è che l'opzione other.xindica i termini della regressione che non devono essere trasformati. Questa sarebbe tutte le tue variabili categoriali. La funzione produce un output nella forma seguente:

boxTidwell(prestige ~ income + education, other.x=~ type + poly(women, 2), data=Prestige)

          Score Statistic   p-value MLE of lambda
income          -4.482406 0.0000074    -0.3476283
education        0.216991 0.8282154     1.2538274

income$\lambda$income$\text{income}_{new}=1/\sqrt{\text{income}_{old}}$

Un altro post molto interessante sul sito sulla trasformazione delle variabili indipendenti è questo .

Svantaggi delle trasformazioni

$1/\sqrt{y}$$\lambda$$\lambda$

Modellazione di relazioni non lineari

Due metodi abbastanza flessibili per adattarsi alle relazioni non lineari sono i polinomi frazionari e le spline . Questi tre articoli offrono un'ottima introduzione a entrambi i metodi: primo , secondo e terzo . C'è anche un intero libro sui polinomi frazionari e R. Il R pacchettomfp implementa polinomi frazionari multivariabili. Questa presentazione potrebbe essere informativa per quanto riguarda i polinomi frazionari. Per adattarsi alle spline, è possibile utilizzare la funzione gam(modelli di additivi generalizzati, vedere qui per un'introduzione eccellente con R) dal pacchettomgcv o dalle funzionins(spline cubiche naturali) e bs( spline cubiche B) dal pacchetto splines(vedere qui un esempio dell'uso di queste funzioni). Usando gampuoi specificare quali predittori vuoi adattare usando le spline usando la s()funzione:

my.gam <- gam(y~s(x1) + x2, family=gaussian())

qui, x1verrebbe adattato usando una spline e x2linearmente come in una normale regressione lineare. All'interno gamè possibile specificare la famiglia di distribuzione e la funzione di collegamento come in glm. Pertanto, per adattare un modello con una funzione log-link, è possibile specificare l'opzione family=gaussian(link="log")in gamas in glm.

Dai un'occhiata a questo post dal sito.

Dovresti dirci di più sulla natura della tua variabile di risposta (risultato, dipendente). Dal tuo primo diagramma è fortemente distorto positivamente con molti valori vicini allo zero e alcuni negativi. Da ciò è possibile, ma non inevitabile, che la trasformazione ti aiuterebbe, ma la domanda più importante è se la trasformazione renderebbe i tuoi dati più vicini a una relazione lineare.

Si noti che i valori negativi per la risposta escludono la trasformazione logaritmica diretta, ma non il log (risposta + costante) e non un modello lineare generalizzato con collegamento logaritmico.

Ci sono molte risposte su questo sito che parlano del registro (risposta + costante), che divide le persone statistiche: ad alcune persone non piace che sia ad hoc e con cui è difficile lavorare, mentre altre lo considerano un dispositivo legittimo.

È ancora possibile un GLM con collegamento log.

In alternativa, è possibile che il tuo modello rifletta un qualche tipo di processo misto, nel qual caso un modello personalizzato che rifletta più da vicino il processo di generazione dei dati sarebbe una buona idea.

(DOPO)

L'OP ha una variabile WAR dipendente con valori che vanno all'incirca da circa 100 a -2. Per superare i problemi con l'assunzione di logaritmi di valori zero o negativi, OP propone un fudge di zeri e negativi a 0,000001. Ora su una scala logaritmica (base 10) tali valori vanno da circa 2 (circa 100) a -6 (0,000001). La minoranza di punti sfumati su scala logaritmica è ora una minoranza di enormi valori anomali. Traccia log_10 (WAR sfumato) contro qualsiasi altra cosa per vederlo.