La regolarizzazione può essere utile se siamo interessati solo alla modellazione, non alla previsione?

La regolarizzazione può essere utile se siamo interessati solo a stimare (e interpretare) i parametri del modello, non a previsioni o previsioni?

Vedo come la regolarizzazione / convalida incrociata sia estremamente utile se il tuo obiettivo è fare buone previsioni su nuovi dati. Ma cosa succede se stai facendo economia tradizionale e tutto ciò che ti interessa è stimare ? La convalida incrociata può essere utile anche in tale contesto? La difficoltà concettuale con cui ho difficoltà è che possiamo effettivamente calcolare su dati di test, ma non possiamo mai calcolare perché il vero è per definizione mai osservato. (Prendiamo come dato l'assunto che esiste persino un vero , cioè che conosciamo la famiglia di modelli da cui sono stati generati i dati.) $\beta$ $\mathcal{L}\left(Y, \hat{Y}\right)$ $\mathcal{L}\left(\beta, \hat{\beta}\right)$ $\beta$ $\beta$

Supponiamo che la tua perdita sia . Stai affrontando un compromesso di varianza, giusto? Quindi, in teoria, potresti stare meglio facendo un po 'di regolarizzazione. Ma come puoi eventualmente selezionare il tuo parametro di regolarizzazione? $\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert$

Sarei felice di vedere un semplice esempio numerico di un modello di regressione lineare, con coefficienti $\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)$ , in cui la funzione di perdita del ricercatore è ad esempio $\lVert \beta - \hat{\beta} \rVert$ , o anche solo $(\beta_1 - \hat{\beta}_1)^2$ . Come, in pratica, si potrebbe usare la validazione incrociata per migliorare la perdita attesa in quegli esempi?

Modifica : DJohnson mi ha indicato https://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdf , che è rilevante per questa domanda. Gli autori lo scrivono

Le tecniche di apprendimento automatico ... forniscono un modo disciplinato per prevedere $\hat{Y}$ che (i) utilizza i dati stessi per decidere come effettuare il trade-off di bias-varianza e (ii) consente la ricerca su un set molto ricco di variabili e forme funzionali. Ma tutto ha un costo: bisogna sempre tenere presente che, essendo sintonizzati per $\hat{Y}$ , non offrono (senza molte altre ipotesi) garanzie molto utili per $\hat{\beta}$ .

Un altro documento pertinente, sempre grazie a DJohnson: http://arxiv.org/pdf/1504.01132v3.pdf . Questo documento affronta la domanda con cui stavo lottando sopra:

Una ... sfida fondamentale per applicare metodi di apprendimento automatico come gli alberi di regressione immediatamente al problema dell'inferenza causale è che gli approcci di regolarizzazione basati sulla convalida incrociata in genere si basano sull'osservazione della "verità fondamentale", cioè dei risultati effettivi in un campione di convalida incrociata. Tuttavia, se il nostro obiettivo è ridurre al minimo l'errore al quadrato medio degli effetti del trattamento, incontriamo quello che [11] chiama il "problema fondamentale dell'inferenza causale": l'effetto causale non è osservato per nessuna singola unità, e quindi non lo facciamo direttamente avere una verità fondamentale. Ci occupiamo di ciò proponendo approcci per la costruzione di stime imparziali dell'errore quadratico medio dell'effetto causale del trattamento.

— Adrian
fonte

La convalida incrociata non è che un metodo nei toolkit di data mining e machine learning. ML sta vedendo un uso crescente in Economia - vedi il sito web di Susan Athey a Stanford (è un'accademica interessata all'integrazione delle tecniche ML in economia) o in questo documento Problemi di politica di previsione di Kleinberg, et al., In una versione non controllata qui: cs. cornell.edu/home/kleinber/aer15-prediction.pdf

— Mike Hunter

Per favore, gente, non ambiguo: ML a molti suggerisce l'apprendimento automatico e a molti altri suggerisce la massima probabilità. (Definizione: sei sul lato dell'apprendimento automatico della recinzione se ML si traduce automaticamente in te come apprendimento automatico.)

— Nick Cox

@Aksakal la mia esperienza è che l'econometria tradizionale, come viene insegnata sia agli studenti universitari che a quelli laureati, presta essenzialmente zero attenzione alla validazione incrociata. Guarda Hayashi, che è un classico libro di testo. Certo, forse la convalida incrociata e il compromesso della variazione di bias sono menzionati in un corso specifico sulla previsione, ma non nel corso principale con cui tutti gli studenti iniziano. Ti sembra giusto?

— Adrian,

@Adrian Vedo che le persone votano per chiudere questa domanda come troppo ampia. Può darsi che sia così, ma a mio modo di vedere, in pratica, mi stai chiedendo: "CV può essere utile se siamo interessati solo alla modellazione, non alla previsione?" - se ti capisco correttamente, la tua domanda può essere facilmente modificata e semplificata, quindi è più chiara e certamente non troppo ampia (anche interessante!).

— Tim

@Adrian quindi è una domanda molto interessante! Temo che tu l'abbia reso estremamente complicato e il riferimento all'econometria non è cruciale qui (poiché è lo stesso con altre aree in cui vengono utilizzati metodi statistici). Ti incoraggio a modificare la tua domanda per semplificarla.

— Tim

Sì, quando vogliamo stime distorte a bassa varianza. Mi piace particolarmente il post di gung qui Quale problema risolvono i metodi di restringimento? Per favore, permettimi di incollare la figura di Gung qui ...

inserisci qui la descrizione dell'immagine Se controlli la trama creata, sarai chiaro sul perché abbiamo bisogno di regolarizzazione / restringimento. All'inizio, mi sento strano perché abbiamo bisogno di stime distorte? Ma guardando quella cifra, mi sono reso conto, avere un modello a bassa varianza presenta molti vantaggi: ad esempio, è più "stabile" nell'uso della produzione.

— Haitao Du
fonte

Sì, ma come selezioniamo il parametro di regolarizzazione? Quando l'obiettivo è ridurre al minimo l'errore di previsione, possiamo utilizzare un set di convalida. Come possiamo utilizzare un set di validazione se non osserviamo mai i parametri del modello vero?

— Adrian,

Vedi la citazione sul "problema fondamentale dell'inferenza causale" in fondo alla mia domanda.

— Adrian,

La convalida incrociata può essere utile se siamo interessati solo alla modellazione (ovvero alla stima dei parametri), non alla previsione?

Sì, può. Ad esempio, l'altro giorno stavo usando la stima dell'importanza dei parametri attraverso gli alberi decisionali. Ogni volta che costruisco un albero, controllo l'errore di convalida incrociata. Cerco di ridurre l'errore il più possibile, quindi passerò al passaggio successivo per stimare l'importanza dei parametri. È possibile che se il primo albero che costruisci è molto cattivo e non controlli l'errore, avrai risposte meno accurate (se non sbagliate).

La ragione principale per cui credo sia dovuta al numero elevato di variabili di controllo di ciascuna tecnica. Anche un leggero cambiamento in una variabile di controllo fornirà un risultato diverso.

Come migliorare il modello dopo aver verificato l'errore di convalida incrociata? Bene, dipende dal tuo modello. Speriamo che, dopo aver provato alcune volte, avrai un'idea delle più importanti variabili di controllo e puoi manipolarle per trovare un errore basso.

— PeyM87
fonte