Che cos'è il restringimento?

13

La parola restringimento viene lanciata molto in alcuni ambienti. Ma cos'è il restringimento, non sembra esserci una definizione chiara. Se ho una serie temporale (o una raccolta di osservazioni di un certo processo) quali sono i diversi modi in cui posso misurare un qualche tipo di contrazione empirica sulla serie? Quali sono i diversi tipi di restringimento teorico di cui posso parlare? In che modo il restringimento può aiutare nella previsione? Le persone possono fornire una buona intuizione o riferimenti?

estimation predictive-models shrinkage

— Invernomuto
fonte

1

Steyergerg: applicazione delle tecniche di contrazione nell'analisi della regressione logistica: un caso di studio e contrazione e probabilità penalizzata come metodi per migliorare la precisione predittiva sono buoni punti di partenza. Né è open source (credo) ma google troverà articoli originali.

— charles

3

Qualsiasi forma di regolarizzazione di uno stimatore che sposta (riduce) una stima (generalmente verso 0 o qualche altro valore "nullo" / noto); infatti, la regolarizzazione che sposta una raccolta di stime l'una verso l'altra è anche una sorta di contrazione (sposta i parametri che rappresentano le loro differenze verso 0). Se non l'hai già visto, l' articolo di Wikipedia potrebbe essere utile.

— Glen_b

Che dire del restringimento empirico. Supponiamo di avere una serie temporale a cui sto adattando un modello. Posso parlare di un qualche tipo di contrazione tra l'adattamento in campione e le prestazioni fuori campione?

— Wintermute,

2

Nel 1961 James e Stein pubblicarono un articolo intitolato "Stima con perdita quadratica" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Sebbene non contenga specificamente il termine restringimento, discutono degli stimatori minimax per statistiche ad alta dimensione (in realtà anche per una posizione di 3 parametri) che hanno meno rischi (perdita attesa) rispetto al solito MLE (ogni componente la media del campione) per dati normali . Bradley Efron chiama la loro scoperta "il teorema più sorprendente delle statistiche matematiche del dopoguerra". Questo articolo è stato citato 3.310 volte.

Copas nel 1983 scrive il primo articolo Regressione, previsione e contrazione per coniare il termine "contrazione". È definito implicitamente in astratto:

L'adattamento di un predittore di regressione ai nuovi dati è quasi sempre peggiore rispetto all'adattamento ai dati originali. Anticipare questa contrazione porta a predittori di tipo Stein che, in base a determinati presupposti, danno una previsione uniformemente inferiore che significa errore al quadrato rispetto ai minimi quadrati.

E in tutte le ricerche successive, sembra che il restringimento si riferisca alle caratteristiche operative (e alle relative stime) per la validità fuori campione della previsione e della stima nel contesto della ricerca di stimatori ammissibili e / o minimax.

— ADAMO
fonte

2

Si tratta di regolarizzazione. Supponi di voler adattare una curva e di utilizzare una funzione di perdita quadrata (puoi scegliere diverse). Difitvorresti recuperare i parametri che governano il processo che ha generato quella curva. Ora immagina di voler adattare questa curva usando il 100 ° polinomio (solo per esempio). È molto probabile che ti allesti o catturi ogni attorcigliamento e rumore della curva. Inoltre, le tue capacità di previsione al di fuori dell'intervallo di dati di allenamento dato saranno probabilmente molto scarse. Quindi, il termine di regolarizzazione viene aggiunto alla funzione obiettivo con un certo peso moltiplicato per il fattore di regolarizzazione - l_1, l_2 o personalizzato. Nel caso di l_2, che è probabilmente più semplice da comprendere, ciò avrà l'effetto che i valori di parametro di grandi dimensioni saranno costretti a ridurre il ridimensionamento noto anche come. Puoi pensare alla regolarizzazione o al restringimento come a guidare il tuo algoritmo verso una soluzione che potrebbe essere una soluzione migliore.

— Vladislavs Dovgalecs
fonte