Spiegazione di ciò che Nate Silver ha detto riguardo al loess

In una domanda che ho posto di recente , mi è stato detto che era un grande "no-no" estrapolare con loess. Ma, nell'articolo più recente di Nate Silver su FiveThirtyEight.com, ha discusso dell'uso del loess per fare previsioni elettorali.

Stava discutendo i dettagli delle previsioni aggressive rispetto a quelle conservative con loess, ma sono curioso di sapere quanto sia valido fare previsioni future con loess?

Sono anche interessato a questa discussione e alle altre alternative che potrebbero avere benefici simili ai loess.

— a.powell
fonte

Se la tua variabile x è il tempo, sarebbe pericoloso usare loess per prevedere in futuro (che sarebbe al di fuori dell'intervallo dei dati). Ma ciò non significa che non puoi usare il loess per fare previsioni più in generale.

— Glen_b

@Glen_b per curiosità cosa potrei prevedere "più in generale"?

— .

Immagina una relazione non lineare tra la percentuale di persone propense a votare per il partito A e il tasso di disoccupazione (insieme ad altri predittori - effetti per i singoli stati, ad esempio). Immagina inoltre che sono appena disponibili nuovi dati sulla disoccupazione; all'interno dell'intervallo di valori sperimentati nell'insieme di formazione, ma non necessariamente un valore rappresentato in tale insieme (ad esempio, la disoccupazione passata è compresa tra il 5 e il 12% e ora abbiamo una cifra dell'8,3%, prevediamo che sia stabile). Quindi potremmo usare il loess per prevedere la percentuale di voto A, senza andare oltre il 5-12% di disoccupazione.

— Glen_b

@Glen_b Grazie. Questa è una meravigliosa illustrazione di come può essere utilizzata per le previsioni.

— .

Il problema con lowess o loess è che utilizza un'interpolazione polinomiale. È noto nella previsione che i polinomi hanno un comportamento irregolare nelle code. Quando si interpolano, i polinomi di terzo grado a tratti forniscono una modellazione eccellente e flessibile delle tendenze mentre estrapolano oltre la gamma dei dati osservati, esplodono. Se avessi osservato dati successivi nelle serie temporali, per ottenere un buon adattamento avresti sicuramente dovuto includere un altro punto di interruzione nelle spline.

I modelli di previsione, tuttavia, sono ben esplorati altrove nella letteratura. Il processo di filtraggio come il filtro Kalman e il filtro antiparticolato forniscono previsioni eccellenti. Fondamentalmente, un buon modello di previsione sarà qualsiasi cosa basato su catene di Markov in cui il tempo non è trattato come un parametro nel modello, ma gli stati del modello precedente vengono utilizzati per informare le previsioni.

— ADAMO
fonte