Nascondere un modello di regressione dal professore (Battaglia navale di regressione) [chiuso]

Sto lavorando a un compito a casa in cui il mio professore vorrebbe che noi creassimo un vero modello di regressione, simulassi un campione di dati e tenterà di trovare il nostro vero modello di regressione usando alcune delle tecniche che abbiamo imparato in classe. Allo stesso modo dovremo fare lo stesso con un set di dati che ci ha fornito.

Dice che è stato in grado di produrre un modello abbastanza preciso per tutti i tentativi passati di provare a ingannarlo. Ci sono stati alcuni studenti che hanno creato un modello folle, ma è stato probabilmente in grado di produrre un modello più semplice che era appena sufficiente.

Come posso fare per sviluppare un modello difficile da trovare per lui? Non voglio essere super economico facendo 4 termini quadratici, 3 osservazioni e una varianza enorme? Come posso produrre un set di dati apparentemente innocuo che ha un piccolo modello duro sotto di esso?

Ha semplicemente 3 regole da seguire:

1. Il set di dati deve avere una variabile "Y" e 20 variabili "X" etichettate come "Y", "X1", ..., "X20".

2. La variabile di risposta deve provenire da un modello di regressione lineare che soddisfa: dove e .Y ′ i = β 0 + β 1 X ′ i 1 + … + β p - 1 X ′ i , p - 1 + ϵ i ϵ i ∼ N ( 0 , σ 2 ) p ≤ $Y$
   

   $$Y_i^\prime = \beta_0 + \beta_1 X_{i1}^\prime + \ldots + \beta_{p-1}X_{i,p-1}^\prime + \epsilon_i$$ $\epsilon_i \sim N(0,\sigma^2)$$p \leq 21$

3. Tutte le variabili utilizzate per creare sono contenute nel set di dati.$X$$Y$

Va notato che non tutte le 20 variabili X devono essere nel tuo modello reale

Stavo pensando di usare qualcosa come il Fama-French 3 Factor Model e di fargli iniziare con i dati di borsa (SPX e AAPL) e di dover trasformare quelle variabili in rendimenti costantemente composti al fine di offuscarlo un po 'di più. Ma questo mi lascia con valori mancanti nella prima osservazione ed è una serie temporale (di cui non abbiamo ancora discusso in classe).

Non sono sicuro se questo è il posto giusto per pubblicare qualcosa di simile. Ho pensato che potesse generare qualche buona discussione.

Modifica: non sto nemmeno chiedendo modelli "precostruiti" in particolare. Sono più curioso di argomenti / strumenti in Statistica che permetterebbe a qualcuno di fare questo.

$y_i=X_{i1}+\epsilon_i$$X_{ij}=\sin(i+j)$$i=1..1000$$\sigma=1000000$

Buona fortuna a identificare la fase con questo rapporto rumore / segnale.

$Y$$\epsilon_i\sim N(0,1)$

$Y$$X_1$$X_1$$Y$$X_1$$X_2$

$X_1$$X_2$$X_1$$X_2$ $Y$

$E[Y|X_1]$$E[Y|X_2]$$E[Y|X_1, X_2]$ $E[Y|X_1]$$Y$$Y$ ecc. Puoi ribattere che non era quello che ha detto, dal momento che afferma:

la variabile Y deve provenire da un modello di regressione lineare che soddisfa (...) le variabili utilizzate per creare Y (...) il tuo modello reale (...)

E potresti dare una buona discussione in classe sulla causalità, sul vero DGP e sull'identificabilità in generale.

Usa variabili con multicollinearità ed eteroscedasticità come il reddito rispetto all'età: fai qualche dolorosa ingegnerizzazione delle caratteristiche che fornisce problemi di ridimensionamento: dai NA ad alcuni cosparsi di scarsità. Il pezzo di linearità lo rende davvero più impegnativo, ma potrebbe essere doloroso. Inoltre, gli outlier aumenterebbero il problema per lui in anticipo.

$X_5X_8X_{12}X_{13}$

Scegli un modello lineare. Dagli un set di dati in cui la maggior parte dei campioni è intorno a x = 0. Dagli alcuni campioni intorno a x = 1.000.000.

La cosa bella qui che i campioni intorno a x = 1.000.000 non sono anomali. Sono generati dalla stessa fonte. Tuttavia, poiché le scale sono così diverse, gli errori intorno a 1 milione non si adattano agli errori intorno a 0.

Abbiamo un set di dati di n campioni, vicino a x = 0. Sceglieremo altri 2 punti in valori "abbastanza lontani". Partiamo dal presupposto che questi due punti hanno qualche errore.

Un valore "abbastanza lontano" è tale che l'errore per una stima che non passa direttamente in questi due punti è molto più grande dell'errore del resto del set di dati.

Quindi, la regressione lineare sceglierà i coefficienti che passeranno in questi due punti e mancherà il resto del set di dati e sarà diverso dal modello sottolineato.

Vedi il seguente esempio. {{1, 782}, {2, 3099}, {3, 110}, {4, 1266}, {5, 1381}, {1000000, 1002169}, {1000001, 999688}}

Questo è in formato serie WolfarmAlpha. In ogni coppia il primo elemento è x e il secondo è stato generato in Excel usando la formula = A2 + NORMINV (RAND (), 0,2000).

$\beta_0=1, \beta_1=1$

$y= 178433. x - 426805$$y=x$