Che cos'è la regolarizzazione in inglese?

A differenza di altri articoli, ho trovato la voce di Wikipedia per questo argomento illeggibile per una persona non matematica (come me).

Ho capito l'idea di base, secondo cui preferisci modelli con meno regole. Quello che non capisco è come si passa da un insieme di regole a un "punteggio di regolarizzazione" che è possibile utilizzare per ordinare i modelli dal meno alla maggior parte.

Puoi descrivere un semplice metodo di regolarizzazione?

Sono interessato al contesto dell'analisi dei sistemi statistici di negoziazione. Sarebbe bello se potessi descrivere se / come posso applicare la regolarizzazione per analizzare i seguenti due modelli predittivi:

Modello 1 - prezzo in aumento quando:

• exp_moving_avg (prezzo, periodo = 50)> exp_moving_avg (prezzo, periodo = 200)

Modello 2 - prezzo in aumento quando:

• prezzo [n] <prezzo [n-1] 10 volte di seguito
• exp_moving_avg (prezzo, periodo = 200) in aumento

Ma sono più interessato a farmi un'idea di come fai la regolarizzazione. Quindi se conosci modelli migliori per spiegarlo, per favore, fallo.

In termini semplici, la regolarizzazione sta sintonizzando o selezionando il livello preferito di complessità del modello in modo che i tuoi modelli siano più bravi a prevedere (generalizzare). Se non lo fai, i tuoi modelli potrebbero essere troppo complessi, troppo adatti o troppo semplici e poco adatti, in ogni caso dando previsioni sbagliate.

Se i minimi quadrati si adattano a un modello complesso a un piccolo insieme di dati di allenamento che probabilmente si sovrautilizzeranno, questa è la situazione più comune. La complessità ottimale del modello dipende dal tipo di processo che si sta modellando e dalla qualità dei dati, quindi non esiste una complessità a priori corretta di un modello.

Per regolarizzare hai bisogno di 2 cose:

1. Un modo per testare la capacità dei tuoi modelli di prevedere, ad esempio utilizzando la convalida incrociata o un insieme di dati di convalida (non è possibile utilizzare l' errore di adattamento per questo).
2. Un parametro di ottimizzazione che consente di modificare la complessità o la scorrevolezza del modello o una selezione di modelli di diversa complessità / scorrevolezza.

Si noti che l'errore di regolarizzazione ottimizzato non sarà una stima accurata dell'errore di predizione globale, quindi dopo la regolarizzazione sarà finalmente necessario utilizzare un set di dati di convalida aggiuntivo o eseguire alcune analisi statistiche aggiuntive per ottenere un errore di predizione imparziale.

Un'alternativa all'utilizzo dei test di validazione (incrociata) consiste nell'utilizzare Priori bayesiani o altri metodi per penalizzare la complessità o la non scorrevolezza, ma questi richiedono una maggiore sofisticazione statistica e conoscenza del problema e delle caratteristiche del modello.

Supponiamo di eseguire l'apprendimento tramite la minimizzazione del rischio empirico.

Più precisamente:

• $L(\text{actual value},\text{ predicted value})$
• vuoi adattare il tuo modello in modo tale che le sue previsioni minimizzino la media della funzione di perdita, calcolata solo sui dati di allenamento (gli unici dati che hai)

$\text{Model} = \text{argmin} \sum L(\text{actual}, \text{predicted}(\text{Model}))$

Ma se non hai abbastanza dati e ci sono enormi quantità di variabili nel tuo modello, è molto probabile trovare un tale modello che non solo spieghi i modelli ma spieghi anche il rumore casuale nei tuoi dati. Questo effetto è chiamato overfitting e porta al degrado della capacità di generalizzazione del tuo modello.

$\text{Model} = \text{argmin} \sum L(\text{actual}, \text{predicted}(\text{Model})) + \lambda R(\text{Model})$

$R(\text{Model})$$R$$R$$R$

$R$$\bar a$

In parole povere, la regolarizzazione riguarda il beneficio delle soluzioni che ti aspetteresti di ottenere. Come accennato, ad esempio, puoi beneficiare di soluzioni "semplici", per una certa definizione di semplicità. Se il tuo problema ha delle regole, una definizione può essere meno regole. Ma questo dipende dal problema.

Stai facendo la domanda giusta, comunque. Ad esempio in Support Vector Machines questa "semplicità" deriva dalla rottura dei legami nella direzione del "margine massimo". Questo margine è qualcosa che può essere chiaramente definito in termini di problema. C'è un'ottima derivazione geometrica nell'articolo SVM su Wikipedia . Si scopre che il termine di regolarizzazione è, probabilmente, la "salsa segreta" delle SVM.

Come si fa la regolarizzazione? In generale, questo viene fornito con il metodo che usi, se usi SVM stai effettuando la regolarizzazione L2, se stai usando LASSO stai facendo la regolarizzazione L1 (vedi cosa dice la pelosa). Tuttavia, se stai sviluppando il tuo metodo, devi sapere come distinguere le soluzioni desiderabili da quelle non desiderabili e avere una funzione che quantifica questo. Alla fine avrai un termine di costo e un termine di regolarizzazione e vuoi ottimizzare la somma di entrambi.

Le tecniche di regolarizzazione sono tecniche applicate ai modelli di apprendimento automatico che rendono più fluido il confine decisionale / modello adattato. Queste tecniche aiutano a prevenire un eccesso di adattamento.

$C$

In termini semplici, la regolarizzazione è una tecnica per evitare un adattamento eccessivo durante l'addestramento degli algoritmi di apprendimento automatico. Se si dispone di un algoritmo con sufficienti parametri liberi, è possibile interpolare con grande dettaglio il campione, ma gli esempi che escono dal campione potrebbero non seguire questa interpolazione di dettagli in quanto ha semplicemente catturato rumore o irregolarità casuali nel campione anziché la tendenza reale.

Il superadattamento viene evitato limitando il valore assoluto dei parametri nel modello. Ciò può essere fatto aggiungendo un termine alla funzione di costo che impone una penalità in base all'entità dei parametri del modello. Se la grandezza viene misurata nella norma L1, questa viene chiamata "regolarizzazione L1" (e di solito si traduce in modelli sparsi), se viene misurata nella norma L2, questa viene chiamata "regolarizzazione L2" e così via.