Qual è la complessità temporale asintotica della regressione del Lazo all'aumentare del numero di righe o colonne?
Qual è la complessità temporale asintotica della regressione del Lazo all'aumentare del numero di righe o colonne?
Risposte:
Ricordiamo che il lazo è un modello lineare con una regolarizzazione .
La ricerca dei parametri può essere formulata come un problema di ottimizzazione senza vincoli, in cui i parametri sono indicati da
.
Nella formulazione vincolata i parametri sono indicati da
Che è un problema di programmazione quadratica e quindi polinomiale.
Quasi tutte le routine di ottimizzazione convessa, anche per cose non lineari flessibili come le reti neurali, si basano sul calcolo della derivata dei parametri wrt target. Non puoi prendere la derivata di però. Come tale, ti affidi a tecniche diverse. Esistono molti metodi per trovare i parametri. Ecco un documento di revisione sull'argomento, ottimizzazione dei minimi quadrati con regolarizzazione L1-Norm . La complessità temporale dell'ottimizzazione convessa iterativa è piuttosto difficile da analizzare, poiché dipende da un criterio di convergenza. Generalmente, i problemi iterativi convergono in meno epoche man mano che le osservazioni aumentano.
Mentre @JacobMick fornisce una panoramica più ampia e un collegamento a un documento di revisione, lasciatemi dare una "risposta scorciatoia" (che può essere considerata un caso speciale della sua risposta).
Lascia che il numero di variabili candidate (caratteristiche, colonne) sia e che la dimensione del campione (numero di osservazioni, righe) sia n . Considera LASSO implementato usando l'algoritmo LARS ( Efron et al., 2004 ). La complessità computazionale di LASSO è O ( K 3 + K 2 n ) ( ibid. )
Riferimenti: