Metodi penalizzati per i dati categorici: combinare i livelli in un fattore

I modelli penalizzati possono essere utilizzati per stimare modelli in cui il numero di parametri è uguale o addirittura maggiore della dimensione del campione. Questa situazione può verificarsi in modelli log-lineari di grandi tabelle sparse di dati categorici o di conteggio. In queste impostazioni, è spesso anche desiderabile o utile comprimere le tabelle combinando i livelli di un fattore in cui tali livelli non sono distinguibili in termini di come interagiscono con altri fattori. Due domande:

Esiste un modo per utilizzare modelli penalizzati come LASSO o rete elastica per verificare la collassabilità dei livelli all'interno di ciascun fattore?
Se la risposta alla prima domanda è sì, può e dovrebbe essere impostato in modo tale che il crollo dei livelli e la stima dei coefficienti del modello avvengano in un unico passaggio?

— andrewH
fonte

Questo documento, doi.org/10.1177/1471082X16642560 , offre una bella panoramica di ciò che è stato fatto in questo settore negli ultimi dieci anni circa.

— Jorne Biccler,

Nota: la penalità di cui parlo di seguito è l'equazione 3.4 nel link di @JorneBiccler. (È interessante vedere che questa domanda è stata considerata prima!)

— user795305,

Possibile duplicato delle variabili categoriali Preprocess con molti valori

— kjetil b halvorsen

Come possiamo chiamarlo un duplicato di una domanda che lo ha preceduto?

— Michael R. Chernick,

È possibile. Per fare ciò possiamo usare una variante del lazo fuso .

\hat{β} = \arg min_{β} \frac{- 1}{n} \sum_{i = 1}^{n} (y_{i} β^{T} x_{i} - e^{β^{T} x_{i}}) + \sum_{factors g} λ_{g} (\sum_{j \in g} | β_{j} | + \frac{1}{2} \sum_{j, k \in g} | β_{j} - β_{k} |) .

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

Nota che è la funzione di perdita per log-linear Modelli. $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

Questo incoraggia i coefficienti all'interno di un gruppo ad essere uguali. Questa uguaglianza di coefficienti equivale al collasso dei livelli e del fattore insieme. Nel caso in cui , equivale a comprimere il livello con il livello di riferimento. I parametri di ottimizzazione possono essere trattati come costanti, ma questo se ci sono solo alcuni fattori, potrebbe essere meglio trattarli come separati. $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

Lo stimatore è un minimizzatore di una funzione convessa, quindi può essere calcolato in modo efficiente tramite risolutori arbitrari. È possibile che se un fattore ha molti, molti livelli, queste differenze a coppie sfuggiranno di mano --- in questo caso, sarà necessaria una maggiore conoscenza dei possibili schemi di collasso.

Nota che tutto ciò è realizzato in un solo passaggio! Questo fa parte di ciò che rende così interessanti gli stimatori di tipo lazo!

Un altro approccio interessante è utilizzare lo stimatore OSCAR, che è come sopra tranne la penalità è sostituito da . $\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— user795305
fonte