Come devo trasformare i dati non negativi inclusi gli zeri?

Se ho dati positivi molto distorti, prendo spesso i registri. Ma cosa dovrei fare con dati non negativi molto inclinati che includono zeri? Ho visto due trasformazioni utilizzate:

• $\log(x+1)$ che ha la caratteristica ordinata che 0 mappa a 0.
• $\log(x+c)$ dove c è stimato o impostato su un valore positivo molto piccolo.

Ci sono altri approcci? Ci sono buone ragioni per preferire un approccio rispetto agli altri?

Mi sembra che la scelta più appropriata di trasformazione dipenda dal modello e dal contesto.

Il punto "0" può derivare da diversi motivi diversi, ciascuno dei quali potrebbe dover essere trattato in modo diverso:

• Troncamento (come nell'esempio di Robin): utilizzare modelli appropriati (ad es. Miscele, modelli di sopravvivenza ecc.)
• Dati mancanti: dati di impatto / osservazioni di rilascio, se del caso.
• Punto zero naturale (ad es. Livelli di reddito; un disoccupato ha un reddito pari a zero): trasforma secondo necessità
• Sensibilità dello strumento di misura: forse aggiungere una piccola quantità di dati?

Non sto davvero offrendo una risposta poiché sospetto che non ci sia una trasformazione "corretta" universale quando si hanno zeri.

Nessuno ha menzionato la trasformazione del seno iperbolico inverso. Quindi per completezza lo sto aggiungendo qui.

Questa è un'alternativa alle trasformazioni di Box-Cox ed è definita da dove . Per qualsiasi valore di , zero mappa a zero. Esiste anche una versione a due parametri che consente uno spostamento, proprio come con la trasformazione BC a due parametri. Burbidge, Magee e Robb (1988) discutono della trasformazione IHS inclusa la stima di .

La trasformazione IHS funziona con i dati definiti sull'intera linea reale inclusi valori negativi e zeri. Per grandi valori di si comporta come una trasformazione del registro, indipendentemente dal valore di (tranne 0). Il caso limite come indica .$y$$\theta$$\theta\rightarrow0$$f(y,\theta)\rightarrow y$

Mi sembra che la trasformazione IHS dovrebbe essere molto più conosciuta di quanto non sia.

Un approccio utile quando la variabile viene utilizzata come fattore indipendente nella regressione è sostituirla con due variabili: una è un indicatore binario del fatto che sia zero e l'altra sia il valore della variabile originale o una sua reespressione, come il suo logaritmo. Questa tecnica è discussa nel libro di Hosmer & Lemeshow sulla regressione logistica (e in altri luoghi, ne sono sicuro). I grafici di probabilità troncati della parte positiva della variabile originale sono utili per identificare una reespressione appropriata. (Vedi l'analisi su https://stats.stackexchange.com/a/30749/919 per esempi.)

Quando la variabile è quella dipendente in un modello lineare, la regressione censurata (come Tobit ) può essere utile, ancora una volta ovviando alla necessità di produrre un logaritmo avviato. Questa tecnica è comune tra gli econometrici.

Le trasformazioni del registro con turni sono casi speciali delle trasformazioni Box-Cox :

$y(\lambda_{1}, \lambda_{2}) = \begin{cases} \frac {(y+\lambda_{2})^{\lambda_1} - 1} {\lambda_{1}} & \mbox{when } \lambda_{1} \neq 0 \\ \log (y + \lambda_{2}) & \mbox{when } \lambda_{1} = 0 \end{cases}$

Questa è la forma estesa per valori negativi, ma applicabile anche ai dati contenenti zeri. Box and Cox (1964) presenta un algoritmo per trovare i valori appropriati per gli usando la massima verosimiglianza. Questo ti dà la massima trasformazione. $\lambda$

Un motivo per preferire le trasformazioni Box-Cox è che sono state sviluppate per garantire ipotesi per il modello lineare. C'è del lavoro fatto per dimostrare che anche se i tuoi dati non possono essere trasformati in normalità, la stima porta comunque a una distribuzione simmetrica.$\lambda$

Non sono sicuro di quanto bene indirizzi i tuoi dati, dal momento che potrebbe essere quella che è solo la trasformazione del log che hai citato, ma potrebbe valere la pena stimare i cui hai bisogno per vedere se un altro la trasformazione è appropriata.$\lambda = (0, 1)$$\lambda$

In R, la boxcox.fitfunzione nel pacchetto geoRcalcolerà i parametri per te.

Presumo che zero! = Dati mancanti, poiché questa è una domanda completamente diversa.

Quando penso a come gestire gli zeri nella regressione lineare multipla, tendo a considerare quanti zeri abbiamo effettivamente?

Solo un paio di zeri

Se ho un singolo zero in un set di dati ragionevolmente grande, tendo a:

1. Rimuovere il punto, prendere i registri e adattarsi al modello
2. Aggiungi una piccola al punto, prendi i log e adatta il modello$c$

Il modello si adatta cambia? E i valori dei parametri? Se il modello è abbastanza robusto per la rimozione del punto, proverò un approccio rapido e sporco all'aggiunta di .$c$

Potresti rendere questa procedura un po 'meno grezza e usare il metodo boxcox con i turni descritti nella risposta di ars.

Gran numero di zeri

Se il mio set di dati contiene un gran numero di zeri, ciò suggerisce che la semplice regressione lineare non è lo strumento migliore per il lavoro. Invece userei qualcosa come la modellazione mista (come suggerito da Srikant e Robin).

Se vuoi qualcosa di veloce e sporco, perché non usare la radice quadrata?

Presumo che tu abbia dati continui.

Se i dati includono zeri, significa che hai un picco su zero che potrebbe essere dovuto a qualche aspetto particolare dei tuoi dati. Appare ad esempio nell'energia eolica, il vento al di sotto di 2 m / s produce energia zero (si chiama cut in) e il vento al di sopra (qualcosa intorno a) 25 m / s produce anche energia zero (per motivi di sicurezza, si chiama cut off) . Mentre la distribuzione dell'energia eolica prodotta sembra continua, c'è un picco a zero.

La mia soluzione: in questo caso, suggerisco di trattare gli zeri separatamente lavorando con una miscela dello spike in zero e il modello che intendevi usare per la parte della distribuzione che è continua (wrt Lebesgue).

Confrontando la risposta fornita da @RobHyndman con una trasformazione log-plus-one estesa a valori negativi con il modulo:

r = -1000:1000

l = sign(r)*log1p(abs(r))
l = l/max(l)
plot(r, l, type = "l", xlab = "Original", ylab = "Transformed", col = adjustcolor("red", alpha = 0.5), lwd = 3)

#We scale both to fit (-1,1)
for(i in exp(seq(-10, 100, 10))){
  s = asinh(i*r)

  s = s / max(s)
  lines(r, s, col = adjustcolor("blue", alpha = 0.2), lwd = 3)
}
legend("topleft", c("asinh(x)", "sign(x) log(abs(x)+1)"), col = c("blue", "red"), lty = 1)

Come puoi vedere, quando aumenta di più la trasformazione sembra una funzione di passaggio. Con assomiglia molto alla trasformazione log-plus-one. E quando si avvicina a una linea.$\theta$$\theta \approx 1$$\theta \rightarrow 0$

EDIT: tieni presente che la trasformazione del log può essere modificata in modo simile su scala arbitraria, con risultati simili. Volevo solo mostrare cosa dà risultati simili in base alla risposta precedente. La più grande differenza tra entrambi gli approcci è la regione vicino a , come possiamo vedere dai loro derivati.x = $\theta$$x=0$

Poiché è stato proposto il fit-box Box-Cox a due parametri, ecco alcuni R per adattare i dati di input, eseguire una funzione arbitraria su di esso (ad es. Previsione delle serie temporali) e quindi restituire l'output invertito:

# Two-parameter Box-Cox function
boxcox.f <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return(((x + lambda2) ^ lambda1 - 1) / lambda1)
  } else {
    return(log(x + lambda2))
  }
}

# Two-parameter inverse Box-Cox function
boxcox.inv <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return((lambda1 * x + 1) ^ (1 / lambda1) - lambda2)
  } else {
    return(exp(x) - lambda2)
  }
}

# Function to Box-Cox transform x, apply function g, 
# and return inverted Box-Cox output y
boxcox.fit.apply <- function(x, g) {
  require(geoR)
  require(plyr)

  # Fit lambdas
  t <- try(lambda.pair <- boxcoxfit(x, lambda2=T)$lambda)

  # Estimating both lambdas sometimes fails; if so, estimate lambda1 only
  if (inherits(t, "try-error")) {
    lambda1 <- boxcoxfit(x)$lambda
    lambda2 <- 0
  } else {
    lambda1 <- lambda.pair[1]
    lambda2 <- lambda.pair[2]
  }
  x.boxcox <- boxcox.f(x, lambda1, lambda2)

  # Apply function g to x.boxcox. This should return data similar to x (e.g. ts)
  y <- aaply(x.boxcox, 1, g)

  return(boxcox.inv(y, lambda1, lambda2))
}

Supponiamo che Y sia la quantità di denaro che ogni americano spende per una nuova auto in un determinato anno (prezzo di acquisto totale). Y aumenterà a 0; non avrà alcun valore tra 0 e circa 12.000; e prenderà altri valori soprattutto negli anni dell'adolescenza, degli anni venti e trenta di migliaia. I predittori sarebbero procuratori del livello di necessità e / o interesse nel fare un tale acquisto. Difficoltà o interessi non si può dire che siano pari a zero per le persone che non hanno effettuato alcun acquisto; su queste scale i non acquirenti sarebbero molto più vicini agli acquirenti di quanto Y o persino il registro di Y suggerirebbe. In un caso del genere, ma nella sanità, ho scoperto che le previsioni più accurate, giudicate in base alla valutazione incrociata del set di test / training, sono state ottenute, in ordine crescente,

1. Regressione logistica su una versione binaria di Y,
2. OLS su Y,
3. La regressione ordinale (PLUM) su Y è stata suddivisa in 5 categorie (in modo da dividere gli acquirenti in 4 gruppi di uguali dimensioni),
4. Regressione logistica multinomiale su Y suddivisa in 5 categorie,
5. OLS sul registro (10) di Y (non pensavo di provare la radice del cubo) e
6. OLS su Y è stato suddiviso in 5 categorie.

Alcuni indietreggeranno a questa categorizzazione di una variabile dipendente continua. Ma sebbene sacrifichi alcune informazioni, la categorizzazione sembra aiutare ripristinando un importante aspetto di fondo della situazione - ancora una volta, che gli "zero" sono molto più simili al resto di quanto Y indicherebbe.

La trasformazione della potenza di Yeo-Johnson discussa qui ha eccellenti proprietà progettate per gestire zeri e negativi mentre si basa sui punti di forza della trasformazione di potenza di Box Cox. Questo è ciò che in genere vado quando ho a che fare con zeri o dati negativi.

Ecco un riepilogo delle trasformazioni con pro / contro per illustrare perché Yeo-Johnson è preferibile.

Login

Pro: funziona bene con dati positivi.

Contro: non gestisce gli zeri.

> log(0)
[1] -Inf

Log Plus 1

Pro: l'offset più 1 aggiunge la possibilità di gestire zeri oltre a dati positivi.

Contro: non riesce con dati negativi

> log1p(-1)
[1] -Inf
> log1p(-2)
[1] NaN
Warning message:
In log1p(-2) : NaNs produced

Radice quadrata

Pro: utilizza una trasformazione di potenza in grado di gestire zeri e dati positivi.

Contro: non riesce con dati negativi

> sqrt(-1)
[1] NaN
Warning message:
In sqrt(-1) : NaNs produced

Box Cox

Codice R:

box_cox <- function(x, lambda) {

    eps <- 0.00001
    if (abs(lambda) < eps)
        log(x)
    else
        (x ^ lambda - 1) / lambda

}

Pro: abilita trasformazioni di potenza ridimensionate

Contro: soffre di problemi con zeri e negativi (cioè può gestire solo dati positivi.

> box_cox(0, lambda = 0)
[1] -Inf
> box_cox(0, lambda = -0.5)
[1] -Inf
> box_cox(-1, lambda = 0.5)
[1] NaN

Yeo Johnson

Codice R:

yeo_johnson <- function(x, lambda) {

    eps <- .000001
    not_neg <- which(x >= 0)
    is_neg  <- which(x < 0)

    not_neg_trans <- function(x, lambda) {
        if (abs(lambda) < eps) log(x + 1)
        else ((x + 1) ^ lambda - 1) / lambda
    }

    neg_trans <- function(x, lambda) {
        if (abs(lambda - 2) < eps) - log(-x + 1)
        else - ((-x + 1) ^ (2 - lambda) - 1) / (2 - lambda)
    }

    x[not_neg] <- not_neg_trans(x[not_neg], lambda)

    x[is_neg] <- neg_trans(x[is_neg], lambda)

    return(x)

}

Pro: può gestire dati positivi, zero e negativi.

Contro: nessuno a cui riesco a pensare. Le proprietà sono molto simili a Box-Cox ma possono gestire dati zero e negativi.

> yeo_johnson(0, lambda = 0)
[1] 0
> yeo_johnson(0, lambda = -0.5)
[1] 0
> yeo_johnson(-1, lambda = 0.5)
[1] -1.218951

Per chiarire come gestire il registro dello zero nei modelli di regressione, abbiamo scritto un documento pedagogico che spiega la soluzione migliore e gli errori comuni che le persone commettono nella pratica. Abbiamo anche escogitato una nuova soluzione per affrontare questo problema.

Puoi trovare l'articolo facendo clic qui: https://ssrn.com/abstract=3444996

Innanzitutto, pensiamo che ci si dovrebbe chiedere perché usare una trasformazione del registro. Nei modelli di regressione, una relazione log-log porta all'identificazione di un'elasticità. Infatti, se , allora corrisponde all'elasticità di a . Il registro può anche linearizzare un modello teorico. Può anche essere usato per ridurre l'eteroschedasticità. Tuttavia, in pratica, spesso si verifica che la variabile acquisita nel registro contenga valori non positivi.$\log(y) = \beta \log(x) + \varepsilon$$\beta$$y$$x$

Una soluzione che viene spesso proposta consiste nell'aggiungere una costante positiva c a tutte le osservazioni modo che . Tuttavia, contrariamente alle regressioni lineari, le regressioni log-lineari non sono robuste per la trasformazione lineare della variabile dipendente. Ciò è dovuto alla natura non lineare della funzione di registro. La trasformazione del registro espande i valori bassi e comprime i valori alti. Pertanto, l'aggiunta di una costante distorce la relazione (lineare) tra zeri e altre osservazioni nei dati. L'entità del bias generato dalla costante dipende in realtà dall'intervallo di osservazioni nei dati. Per questo motivo, aggiungere la costante più piccola possibile non è necessariamente la migliore soluzione peggiore.$Y$$Y + c > 0$

Nel nostro articolo, in realtà forniamo un esempio in cui l'aggiunta di costanti molto piccole sta effettivamente fornendo il pregiudizio più elevato. Forniamo derivare un'espressione del pregiudizio.

In realtà, Poisson Pseudo Maximum Likelihood (PPML) può essere considerata una buona soluzione a questo problema. Bisogna considerare il seguente processo:

$y_i = a_i \exp(\alpha + x_i' \beta)$ con$E(a_i | x_i) = 1$

Questo processo è motivato da diverse funzionalità. Innanzitutto, fornisce la stessa interpretazione a di un modello semi-log. In secondo luogo, questo processo di generazione dei dati fornisce una razionalizzazione logica dei valori zero nella variabile dipendente. Questa situazione può verificarsi quando il termine di errore moltiplicativo, , è uguale a zero. In terzo luogo, la stima di questo modello con PPML non incontra la difficoltà computazionale quando . Partendo dal presupposto che , abbiamo . Vogliamo ridurre al minimo l'errore quadratico di questo momento, portando alle seguenti condizioni del primo ordine:$\beta$$a_i$$y_i = 0$$E(a_i|x_i) = 1$$E( y_i - \exp(\alpha + x_i' \beta) | x_i) = 0$

$\sum_{i=1}^N ( y_i - \exp(\alpha + x_i' \beta) )x_i' = 0$

Queste condizioni sono definite anche quando . Queste condizioni del primo ordine sono numericamente equivalenti a quelle di un modello di Poisson, quindi possono essere stimate con qualsiasi software statistico standard.$y_i = 0$

Infine, proponiamo una nuova soluzione che è anche facile da implementare e che fornisce uno stimatore imparziale di . Basta semplicemente stimare:$\beta$

$\log( y_i + \exp (\alpha + x_i' \beta)) = x_i' \beta + \eta_i$

Mostriamo che questo stimatore è imparziale e che può essere semplicemente stimato con GMM con qualsiasi software statistico standard. Ad esempio, può essere stimato eseguendo solo una riga di codice con Stata.

Speriamo che questo articolo possa essere d'aiuto e ci piacerebbe ricevere feedback da te.

Christophe Bellégo e Louis-Daniel Pape CREST - Ecole Polytechnique - ENSAE