Cosa succede se le variabili esplicative e di risposta sono ordinate in modo indipendente prima della regressione?

Supponiamo di avere un set di dati con punti. Vogliamo eseguire una regressione lineare, ma prima valori e indipendentemente l'uno dall'altro, formando un set di dati . Esiste un'interpretazione significativa della regressione sul nuovo set di dati? Questo ha un nome?n X i Y i ( X i , Y j$(X_i,Y_i)$$n$$X_i$$Y_i$$(X_i,Y_j)$

Immagino che questa sia una domanda sciocca, quindi mi scuso, non sono formalmente addestrato in statistica. Nella mia mente questo distrugge completamente i nostri dati e la regressione non ha senso. Ma il mio manager dice che ottiene "regressioni migliori per la maggior parte del tempo" quando lo fa (qui "meglio" significa più predittivo). Ho la sensazione che si stia ingannando.

EDIT: Grazie per tutti i tuoi esempi carini e pazienti. Gli ho mostrato gli esempi di @ RUser4512 e @gung e rimane fedele. Si sta irritando e mi sto esaurendo. Mi sento in rovina. Probabilmente inizierò presto a cercare altri lavori.

Non sono sicuro di cosa significhi il tuo capo "più predittivo". Molte persone credono erroneamente che valori inferiori significhino un modello migliore / più predittivo. Questo non è necessariamente vero (questo è un caso emblematico). Tuttavia, l'ordinamento indipendente di entrambe le variabili in anticipo garantirà un valore inferiore . D'altra parte, possiamo valutare l'accuratezza predittiva di un modello confrontando le sue previsioni con i nuovi dati generati dallo stesso processo. Lo faccio di seguito in un semplice esempio (codificato con ). $p$$p$R

options(digits=3)                       # for cleaner output
set.seed(9149)                          # this makes the example exactly reproducible

B1 = .3
N  = 50                                 # 50 data
x  = rnorm(N, mean=0, sd=1)             # standard normal X
y  = 0 + B1*x + rnorm(N, mean=0, sd=1)  # cor(x, y) = .31
sx = sort(x)                            # sorted independently
sy = sort(y)
cor(x,y)    # [1] 0.309
cor(sx,sy)  # [1] 0.993

model.u = lm(y~x)
model.s = lm(sy~sx)
summary(model.u)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.021      0.139   0.151    0.881
# x              0.340      0.151   2.251    0.029  # significant
summary(model.s)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.162     0.0168    9.68 7.37e-13
# sx             1.094     0.0183   59.86 9.31e-47  # wildly significant

u.error = vector(length=N)              # these will hold the output
s.error = vector(length=N)
for(i in 1:N){
  new.x      = rnorm(1, mean=0, sd=1)   # data generated in exactly the same way
  new.y      = 0 + B1*x + rnorm(N, mean=0, sd=1)
  pred.u     = predict(model.u, newdata=data.frame(x=new.x))
  pred.s     = predict(model.s, newdata=data.frame(x=new.x))
  u.error[i] = abs(pred.u-new.y)        # these are the absolute values of
  s.error[i] = abs(pred.s-new.y)        #  the predictive errors
};  rm(i, new.x, new.y, pred.u, pred.s)
u.s = u.error-s.error                   # negative values means the original
                                        # yielded more accurate predictions
mean(u.error)  # [1] 1.1
mean(s.error)  # [1] 1.98
mean(u.s<0)    # [1] 0.68


windows()
  layout(matrix(1:4, nrow=2, byrow=TRUE))
  plot(x, y,   main="Original data")
  abline(model.u, col="blue")
  plot(sx, sy, main="Sorted data")
  abline(model.s, col="red")
  h.u = hist(u.error, breaks=10, plot=FALSE)
  h.s = hist(s.error, breaks=9,  plot=FALSE)
  plot(h.u, xlim=c(0,5), ylim=c(0,11), main="Histogram of prediction errors",
       xlab="Magnitude of prediction error", col=rgb(0,0,1,1/2))
  plot(h.s, col=rgb(1,0,0,1/4), add=TRUE)
  legend("topright", legend=c("original","sorted"), pch=15, 
         col=c(rgb(0,0,1,1/2),rgb(1,0,0,1/4)))
  dotchart(u.s, color=ifelse(u.s<0, "blue", "red"), lcolor="white",
           main="Difference between predictive errors")
  abline(v=0, col="gray")
  legend("topright", legend=c("u better", "s better"), pch=1, col=c("blue","red"))

La trama in alto a sinistra mostra i dati originali. V'è una certa relazione tra ed (viz., La correlazione è circa .) Il grafico in alto a destra mostra come i dati assomigliano dopo la cernita indipendentemente entrambe le variabili. Si può facilmente vedere che la forza della correlazione è aumentata sostanzialmente (ora è di circa ). Tuttavia, nei grafici inferiori, vediamo che la distribuzione degli errori predittivi è molto più vicina a per il modello addestrato sui dati originali (non ordinati). L'errore predittivo assoluto medio per il modello che utilizzava i dati originali è , mentre l'errore predittivo assoluto medio per il modello addestrato sui dati ordinati èy .31 .99 0 1.1 1.98 y 68 $x$$y$$.31$$.99$$0$$1.1$$1.98$- quasi due volte più grande. Ciò significa che le previsioni del modello di dati ordinati sono molto più lontane dai valori corretti. La trama nel quadrante in basso a destra è una trama a punti. Visualizza le differenze tra l'errore predittivo con i dati originali e con i dati ordinati. Ciò consente di confrontare le due previsioni corrispondenti per ogni nuova osservazione simulata. I punti blu a sinistra sono momenti in cui i dati originali erano più vicini al nuovo valore , mentre i punti rossi a destra sono momenti in cui i dati ordinati hanno prodotto previsioni migliori. Ci sono state previsioni più accurate dal modello addestrato sui dati originali il delle volte. $y$$68\%$

Il grado in cui l'ordinamento causerà questi problemi è una funzione della relazione lineare esistente nei dati. Se la correlazione tra ed erano già, smistamento non avrebbe alcun effetto e quindi non essere dannosa. D'altra parte, se la correlazione fossey 1,0 - $x$$y$$1.0$$-1.0$, l'ordinamento invertirebbe completamente la relazione, rendendo il modello il più impreciso possibile. Se i dati fossero completamente non correlati in origine, l'ordinamento avrebbe un effetto intermedio, ma comunque piuttosto ampio, deleterio sull'accuratezza predittiva del modello risultante. Dato che dici che i tuoi dati sono generalmente correlati, sospetto che abbia fornito una certa protezione contro i danni intrinseci a questa procedura. Tuttavia, l'ordinamento per primo è decisamente dannoso. Per esplorare queste possibilità, possiamo semplicemente rieseguire il codice sopra con valori diversi per B1(usando lo stesso seme per la riproducibilità) ed esaminare l'output:

1. B1 = -5:

   cor(x,y)                            # [1] -0.978
   summary(model.u)$coefficients[2,4]  # [1]  1.6e-34  # (i.e., the p-value)
   summary(model.s)$coefficients[2,4]  # [1]  1.82e-42
   mean(u.error)                       # [1]  7.27
   mean(s.error)                       # [1] 15.4
   mean(u.s<0)                         # [1]  0.98

2. B1 = 0:

   cor(x,y)                            # [1] 0.0385
   summary(model.u)$coefficients[2,4]  # [1] 0.791
   summary(model.s)$coefficients[2,4]  # [1] 4.42e-36
   mean(u.error)                       # [1] 0.908
   mean(s.error)                       # [1] 2.12
   mean(u.s<0)                         # [1] 0.82

3. B1 = 5:

   cor(x,y)                            # [1] 0.979
   summary(model.u)$coefficients[2,4]  # [1] 7.62e-35
   summary(model.s)$coefficients[2,4]  # [1] 3e-49
   mean(u.error)                       # [1] 7.55
   mean(s.error)                       # [1] 6.33
   mean(u.s<0)                         # [1] 0.44

$x,y$

n <- 1000

y<- runif(n)
x <- runif(n)

linearModel <- lm(y ~ x)


x_sorted <- sort(x)
y_sorted <- sort(y)

linearModel_sorted <- lm(y_sorted ~ x_sorted)

par(mfrow = c(2,1))
plot(x,y, main = "Random data")
abline(linearModel,col = "red")


plot(x_sorted,y_sorted, main = "Random, sorted data")
abline(linearModel_sorted,col = "red")

Ovviamente, i risultati ordinati offrono una regressione molto più piacevole. Tuttavia, dato il processo utilizzato per generare i dati (due campioni indipendenti) non c'è assolutamente alcuna possibilità che uno possa essere utilizzato per prevedere l'altro.

La tua intuizione è corretta: i dati ordinati in modo indipendente non hanno un significato affidabile perché gli input e gli output vengono mappati casualmente l'uno con l'altro piuttosto che con la relazione osservata.

C'è una (buona) possibilità che la regressione sui dati ordinati sia buona, ma non ha senso nel contesto.

$(X = age, Y = height)$

$x, y$

$V_i$$t_i$

$(t_i, V_i)$

È una vera arte e richiede una vera comprensione della psicologia per essere in grado di convincere alcune persone dell'errore delle loro vie. Oltre a tutti gli eccellenti esempi di cui sopra, a volte una strategia utile è dimostrare che la convinzione di una persona porta a un'incoerenza con se stessa. Oppure prova questo approccio. Scopri qualcosa in cui il tuo capo crede fermamente, come il modo in cui le persone svolgono il compito Y non ha alcuna relazione con la quantità di un attributo X che possiedono. Mostra come l'approccio del tuo capo porterebbe alla conclusione di una forte associazione tra X e Y. Sfrutta le credenze politiche / razziali / religiose.

L'invalidità del viso avrebbe dovuto essere sufficiente. Che capo testardo. Nel frattempo, cerca un lavoro migliore. In bocca al lupo.

Un altro esempio. Immagina di avere due variabili, una connessa al consumo di cioccolato e una seconda al benessere generale. Ne hai un campione di due e i tuoi dati sono i seguenti:

Qual è la relazione tra cioccolato e felicità basata sul tuo campione? E ora, cambia l'ordine di una delle colonne: qual è la relazione dopo questa operazione?

$t$$N$$t$

$i$$X$$i$$Y$

Si noti che a volte siamo effettivamente interessati a cambiare l'ordine dei casi, lo facciamo nei metodi di ricampionamento . Ad esempio, possiamo mescolare intenzionalmente più volte le osservazioni in modo da imparare qualcosa sulla distribuzione nulla dei nostri dati (come sarebbero i nostri dati se non ci fossero relazioni a coppie), e poi possiamo confrontare se i nostri dati reali sono comunque migliori di quelli casuali mescolate. Quello che fa il tuo manager è esattamente l'opposto: costringe intenzionalmente le osservazioni ad avere una struttura artificiale dove non c'era struttura, il che porta a correlazioni fasulle.

Un semplice esempio che forse il tuo manager potrebbe capire:

Supponiamo che tu abbia la moneta Y e la moneta X e le capovolgi ognuna 100 volte. Quindi vuoi prevedere se ottenere una testa con Coin X (IV) può aumentare la possibilità di ottenere una testa con Coin Y (DV).

Senza l'ordinamento, la relazione non sarà nessuna, poiché l'esito di Coin X non dovrebbe influire sull'esito di Coin Y. Con l'ordinamento, la relazione sarà quasi perfetta.

Come ha senso concludere che hai buone probabilità di ottenere un testa sul lancio di una moneta se hai appena lanciato una testa con una moneta diversa?

Questa tecnica è davvero sorprendente. Sto trovando tutti i tipi di relazioni che non ho mai sospettato. Ad esempio, non avrei mai sospettato che i numeri che compaiono nella lotteria Powerball, che è RICHIESTO, sono casuali, in realtà sono altamente correlati con il prezzo di apertura delle azioni Apple lo stesso giorno! Gente, penso che stiamo per incassare alla grande. :)

> powerball_last_number = scan()
1: 69 66 64 53 65 68 63 64 57 69 40 68
13: 
Read 12 items
> #Nov. 18, 14, 11, 7, 4
> #Oct. 31, 28, 24, 21, 17, 14, 10
> #These are powerball dates.  Stock opening prices 
> #are on same or preceding day.
> 
> appl_stock_open = scan()
1: 115.76  115.20 116.26  121.11  123.13 
6: 120.99  116.93  116.70  114.00  111.78
11: 111.29  110.00
13: 
Read 12 items
> hold = lm(appl_stock_open ~ powerball_last_number)
> summary(hold)


Coefficients:
                       Estimate Std. Error t value Pr(>|t|)    
(Intercept)           112.08555    9.45628  11.853 3.28e-07 ***
powerball_last_number   0.06451    0.15083   0.428    0.678    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 4.249 on 10 degrees of freedom
Multiple R-squared:  0.01796,   Adjusted R-squared:  -0.08024 
F-statistic: 0.1829 on 1 and 10 DF,  p-value: 0.6779

Hmm, non sembra avere una relazione significativa. MA usando la nuova tecnica migliorata:

> 
> vastly_improved_regression = lm(sort(appl_stock_open)~sort(powerball_last_number))
> summary(vastly_improved_regression)

Coefficients:
                            Estimate Std. Error t value Pr(>|t|)    
(Intercept)                 91.34418    5.36136  17.038 1.02e-08 ***
sort(powerball_last_number)  0.39815    0.08551   4.656    9e-04 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.409 on 10 degrees of freedom
Multiple R-squared:  0.6843,    Adjusted R-squared:  0.6528 
F-statistic: 21.68 on 1 and 10 DF,  p-value: 0.0008998

NOTA: non si tratta di un'analisi seria. Basta mostrare al proprio manager che possono rendere QUALSIASI due variabili significativamente correlate se le si ordinano entrambe.

Un sacco di buoni esempi contrari qui. Vorrei solo aggiungere un paragrafo sul nocciolo del problema.

$X_i$$Y_i$$X$$Y$$i$$i$$X_1$$Y_1$$X_2$$Y_2$$X$$Y$$X_1$$Y_1$$X_1$$Y_1$

In realtà, vorrei aggiungere un paragrafo sul perché "funziona".

$X_a$$X_b$$X_a$$X$$Y_a$$X_z$$X$$Y_z$$Y$$X_a$$Y_a$$X_z$$Y_z$$X_1$$Y_1$

In realtà, il test descritto (ovvero ordinare i valori X e Y in modo indipendente e regredire l'uno contro l'altro) verifica qualcosa, supponendo che gli (X, Y) vengano campionati come coppie indipendenti da una distribuzione bivariata. Non è solo un test di ciò che il tuo manager vuole testare. Sta essenzialmente controllando la linearità di un diagramma QQ, confrontando la distribuzione marginale delle X con la distribuzione marginale delle Y. In particolare, i "dati" si avvicinano a una linea retta se la densità di Xs (f (x)) è correlata alla densità di Ys (g (y)) in questo modo:

$f(x) = g((y-a)/b)$$a$$b>0$

Strano che il contro-esempio più ovvio non sia ancora presente tra le risposte nella sua forma più semplice.

$Y = -X$

$\hat Y \approx X$

Questo è un tipo di "inverso diretto" del modello che potresti essere disposto a trovare qui.

Hai ragione. Il tuo manager troverà risultati "buoni"! Ma sono insignificanti. Quello che ottieni quando li ordini in modo indipendente è che i due aumentano o diminuiscono in modo simile e questo dà una parvenza di un buon modello. Ma le due variabili sono state eliminate dalla loro relazione effettiva e il modello non è corretto.

$x \sim x^2$$x$$x^2$$x$

La regressione lineare è generalmente meno ragionevole (esistono eccezioni, vedi altre risposte); ma la geometria delle code e della distribuzione degli errori indica quanto distanti siano le distribuzioni.

Ho una semplice intuizione sul perché questa è in realtà una buona idea se la funzione è monotona :

$x_1, x_2,\cdots, x_n$$x_i<x_{i+1}$$f:\Re\mapsto\Re$$y_i = f(x_i) + \varepsilon_i$$\varepsilon_i$

$f$

$\varepsilon_i$

PS: Trovo sorprendente come una domanda apparentemente semplice possa portare a nuovi modi interessanti di ripensare il modello di standard. Per favore, grazie capo!

Supponi di avere questi punti su un cerchio di raggio 5. Calcola la correlazione:

import pandas as pd
s1 = [(-5, 0), (-4, -3), (-4, 3), (-3, -4), (-3, 4), (0, 5), (0, -5), (3, -4), (3, 4), (4, -3), (4, 3), (5, 0)]
df1 = pd.DataFrame(s1, columns=["x", "y"])
print(df1.corr())

   x  y
x  1  0
y  0  1

Quindi ordina i valori x e y e fai di nuovo la correlazione:

s2 = [(-5, -5), (-4, -4), (-4, -4), (-3, -3), (-3, -3), (0, 0), (0, 0), (3, 3), (3, 3), (4, 4), (4, 4), (5, 5)]
df2 = pd.DataFrame(s2, columns=["x", "y"])
print(df2.corr())

   x  y
x  1  1
y  1  1

Con questa manipolazione, si modifica un set di dati con correlazione 0.0 in uno con correlazione 1.0. Questo é un problema.

Lasciami giocare a Devil's Advocate qui. Penso che molte risposte abbiano reso convincenti i casi in cui la procedura del capo è fondamentalmente sbagliata. Allo stesso tempo, offro un controesempio che mostra che il boss potrebbe aver effettivamente visto migliorare i risultati con questa trasformazione errata.

Penso che riconoscere che questa procedura avrebbe potuto "funzionare" per il capo potrebbe iniziare un argomento più persuasivo: certo, ha funzionato, ma solo in queste fortunate circostanze che di solito non reggono. Quindi possiamo mostrare - come nell'eccellente risposta accettata - quanto può essere brutta quando non siamo fortunati. Qual è il più delle volte. In isolamento, che mostra il boss quanto male può essere non potrebbe convincerlo perché potrebbe aver visto un caso in cui si fa migliorare le cose, e la figura che il nostro argomento fantasia deve avere una falla da qualche parte.

Ho trovato questi dati online, e abbastanza sicuro, sembra che la regressione sia migliorata dall'ordinamento indipendente di X e Y perché: a) i dati sono altamente correlati positivamente e b) OLS in realtà non funziona bene con estremi (alto -leverage) valori anomali. L'altezza e il peso hanno una correlazione di 0,19 con il valore anomalo incluso, 0,77 con il valore anomalo escluso e 0,78 con X e Y ordinati separatamente.

x <- read.csv ("https://vincentarelbundock.github.io/Rdatasets/csv/car/Davis.csv", header=TRUE)

plot (weight ~ height, data=x)

lm1 <- lm (weight ~ height, data=x)

xx <- x
xx$weight <- sort (xx$weight)
xx$height <- sort (xx$height)

plot (weight ~ height, data=xx)

lm2 <- lm (weight ~ height, data=xx)

plot (weight ~ height, data=x)
abline (lm1)
abline (lm2, col="red")

plot (x$height, x$weight)
points (xx$height, xx$weight, col="red")

Quindi mi sembra che il modello di regressione su questo set di dati sia migliorato dall'ordinamento indipendente (nero contro linea rossa nel primo grafico) e che vi sia una relazione visibile (nero contro rosso nel secondo grafico), a causa del particolare set di dati altamente (positivamente) correlato e con il giusto tipo di valori anomali che danneggiano la regressione più del mescolamento che si verifica quando si ordinano in modo indipendente xey.

Ancora una volta, non dire che l'ordinamento indipendente fa qualcosa di sensato in generale, né che qui è la risposta corretta. Solo che il capo avrebbe potuto vedere qualcosa del genere che funzionava nelle giuste circostanze.

Se ha preselezionato le variabili come monotone, in realtà è abbastanza robusto. Google "modelli lineari impropri" e "Robin Dawes" o "Howard Wainer". Dawes e Wainer parlano di modi alternativi di scegliere i coefficienti. John Cook ha una breve colonna ( http://www.johndcook.com/blog/2013/03/05/robustness-of-equal-weights/ ).

Ci ho pensato e ho pensato che qui ci fosse una struttura basata sulle statistiche degli ordini. Ho controllato e sembra che il manager non sia pazzo come sembra

Coefficiente di correlazione delle statistiche degli ordini come misura di una nuova associazione con applicazioni all'analisi del biosegnale

http://www.researchgate.net/profile/Weichao_Xu/publication/3320558_Order_Statistics_Correlation_Coefficient_as_a_Novel_Association_Measurement_With_Applications_to_Biosignal_Analysis/links/0912f507ed6f94a3c6000000.pdf

Proponiamo un nuovo coefficiente di correlazione basato sulle statistiche degli ordini e sulla disuguaglianza di riorganizzazione. Il coefficiente proposto rappresenta un compromesso tra il coefficiente lineare di Pearson e i due coefficienti basati sul rango, vale a dire il rho di Spearman e il tau di Kendall. Le derivazioni teoriche mostrano che il nostro coefficiente possiede le stesse proprietà di base dei tre coefficienti classici. Studi sperimentali basati su quattro modelli e sei biosegnali mostrano che il nostro coefficiente ha prestazioni migliori rispetto ai due coefficienti basati sul rango quando si misurano le associazioni lineari; mentre è in grado di rilevare associazioni non lineari monotone come i due coefficienti basati sul rango. Ampie analisi statistiche suggeriscono anche che il nostro nuovo coefficiente ha una robustezza anti-rumore superiore, una piccola polarizzazione,