Qual è il vantaggio di ridurre la dimensionalità dei predittori ai fini della regressione?

Quali sono le applicazioni o i vantaggi della regressione della riduzione dimensionale (DRR) o delle tecniche di riduzione dimensionale supervisionata (SDR) rispetto alle tecniche di regressione tradizionale (senza alcuna riduzione dimensionale)? Questa classe di tecniche trova una rappresentazione a bassa dimensione dell'insieme di funzionalità per il problema di regressione. Esempi di tali tecniche includono la regressione inversa a fette, le direzioni principali dell'Assia, la stima della varianza media a fette, la regressione inversa a fette del kernel, la regressione dei componenti principali, ecc.

In termini di RMSE con convalida incrociata, se un algoritmo si è comportato meglio su un'attività di regressione senza alcuna riduzione della dimensionalità, a che cosa serve la riduzione della dimensionalità per la regressione? Non capisco il punto di queste tecniche.
Queste tecniche sono usate per caso per ridurre la complessità di spazio e tempo per la regressione? Se questo è il vantaggio principale, sarebbero utili alcune risorse sulla riduzione della complessità per set di dati ad alta dimensione quando queste tecniche verranno utilizzate. Ne discuto con il fatto che eseguire una tecnica DRR o SDR richiede tempo e spazio. Questa regressione SDR / DRR + su un set di dati a bassa luminosità è più veloce della sola regressione su un set di dati a bassa luminosità?
Questa impostazione è stata studiata solo per interesse astratto e non ha una buona applicazione pratica?

Come pensiero laterale: a volte ci sono ipotesi che la distribuzione congiunta delle caratteristiche e la risposta si trovi su una varietà. Ha senso imparare la varietà dal campione osservato in questo contesto per risolvere un problema di regressione. $X$ $Y$

— carro funebre
fonte

Parli dell'apprendimento multiplo in modo che il seguente post sul blog possa essere di aiuto: normaldeviate.wordpress.com/2012/09/08/hunting-for-manifolds

— kjetil b halvorsen

Risposte:

Secondo l'ipotesi multipla, si presume che i dati si trovino su una varietà a bassa dimensione, il che implica che il residuo è rumore, quindi se si esegue correttamente la riduzione della dimensionalità, è necessario migliorare le prestazioni modellando il segnale anziché il rumore. Non è solo una questione di spazio e complessità.

— Emre
fonte

ma non vedo tecniche come SIR fare meglio dopo la riduzione della dimensionalità su basi solide. Correggimi se sbaglio o se conosci una tecnica SDR / DDR che può trovare meglio questo segnale in un'impostazione di regressione, fammi sapere di quale tecnica (nome) è.

— Ascoltare il

Naturalmente dipende dall'algoritmo di regressione e dalla dimensione intrinseca dei dati. Non posso parlare in particolare di SIR, ma ecco un documento che confronta vari algoritmi di regressione sul set di dati MNIST, che è a bassa dimensione. Forse potresti condividere alcuni dati problematici in modo che le persone possano provarci.

— Emre,

Che cos'è "l'ipotesi multipla"?

— ameba dice Ripristina Monica l'

L'ipotesi che dati ad alta dimensione tende a trovarsi in prossimità di una varietà a bassa dimensione .

— Emre,

Mi chiedo se questa roba sia simile alle reti neurali e al ridimensionamento multidimensionale non lineare in quanto "suona come" dovrebbe essere eccezionale ovunque ma in pratica funziona bene in un numero più limitato di casi

— Shadowtalker,

Lo scopo della riduzione della dimensionalità nella regressione è la regolarizzazione.

La maggior parte delle tecniche che hai elencato non sono molto conosciute; Non ne ho sentito parlare, a parte la regressione dei componenti principali (PCR). Quindi risponderò sulla PCR ma mi aspetto che lo stesso si applichi anche alle altre tecniche.

Le due parole chiave qui sono adattamento eccessivo e regolarizzazione . Per un lungo trattamento e una discussione vi rimando a The Elements of Statistical Learning , ma molto brevemente, cosa succede se si hanno molti predittori ( ) e non abbastanza campioni ( ) è che la regressione standard sarà troppo adatta ai dati e voi costruire un modello che sembra avere buone prestazioni sul set di allenamento ma in realtà ha prestazioni molto scarse su qualsiasi set di test. $p$ $n$

$p>n$ $y$ $100\%$

$p\ll n$

$p$

Per vedere un aumento delle prestazioni rispetto alla regressione standard, è necessario un set di dati con molti predittori e non così tanti campioni e sicuramente è necessario utilizzare la convalida incrociata o un set di test indipendente. Se non hai visto alcun aumento delle prestazioni, forse il tuo set di dati non aveva dimensioni sufficienti.

Discussioni correlate con buone risposte:

— ameba dice Reinstate Monica
fonte

Date le sue pubblicazioni è lecito ritenere che lo sappia.

— Emre,

Grazie, @Emre, non avevo idea di chi fosse l'OP. Potrei aver frainteso la domanda, ma dopo averla riletta ora non vedo come posso interpretarla diversamente. Se ci si chiede quale sia il vantaggio pratico della PCR, allora la risposta è la regolarizzazione; La PCR è in realtà strettamente correlata alla regressione della cresta, che è uno dei metodi di regolarizzazione più standard.

— ameba dice Ripristina Monica l'

p > n

$p > n$

@ssdecontrol: sono d'accordo. Penso che il consenso sia che la PCR è praticamente non competitiva e quasi sempre ci sono approcci migliori. Questo è anche ciò che ho scritto nella mia risposta (no?), Ma la domanda era specificamente sulla riduzione della dimensionalità dei predittori e su quale potesse essere il suo scopo. La mia risposta è che lo scopo è la regolarizzazione.

— ameba dice di ripristinare Monica l'

Inteso. Ma penso che possiamo essere d'accordo sul fatto che la domanda è stata caricata specificamente per contestarne l'utilità dato che non è in realtà il modo migliore per regolarizzare nonostante il suo appello intuitivo

— Shadowtalker,