La regressione penalizzata L1 (aka lazo) è presentata in due formulazioni. Lascia che le due funzioni obiettivo siano
La regressione penalizzata L1 (aka lazo) è presentata in due formulazioni. Lascia che le due funzioni obiettivo siano
Risposte:
Le due formulazioni sono equivalenti nel senso che per ogni valore di nella prima formulazione, esiste un valore di per la seconda formulazione in modo tale che le due formulazioni abbiano lo stesso minimizzatore .
Ecco la giustificazione:
Considera la formulazione del lazo: Lascia che il minimizer siaβ∗e cheb=| | β∗| | 1. La mia affermazione è che se si impostat=bnella prima formulazione, anche la soluzione della prima formulazione saràβ∗. Ecco la prova:
Considera la prima formulazione Se possibile lasciare che questa seconda formulazione ha una soluzione β tale che| | ß | | 1<| | β∗| | 1=b(notare il segno strettamente minore di). Allora è facile vedere chef( β )<f(β
Poiché , la condizione di allentamento complementare è soddisfatta nel punto di soluzione β ∗ .
Quindi, data una formulazione del lazo con , costruisci una formulazione vincolata usando una t uguale al valore della norma l 1 della soluzione del lazo. Viceversa, data una formulazione vincolata con t , si trova un λ tale che la soluzione al lazo sarà uguale alla soluzione della formulazione vincolata.
(Se conosci i laureandi, puoi trovare questo risolvendo l'equazione X T ( y - X β ∗ ) = λ z ∗ , dove z ∗ ∈ ∂ | | β ∗ | | 1 )
Penso che l'idea di elexhobby per questa dimostrazione sia valida, ma non credo sia del tutto corretta.
Nel mostrare che l'esistenza di una soluzione per la prima , in modo che ‖ β ‖ < ‖ β * ‖ porta ad una contraddizione, possiamo solo supporre la necessità di ‖ β ‖ = ‖ β * ‖ , non che β = β * .
Suggerisco invece di procedere come segue:
Per comodità, denotiamo con e P 2 rispettivamente la prima e la seconda formulazione. Supponiamo che P 2 abbia una soluzione unica, β ∗ , con ‖ β ∗ ‖ = b . Lasciare P 1 ha una soluzione, ß ≠ ß * . Poi, abbiamo che ‖ β ‖ ≤ ‖ β * ‖ (non può essere maggiore a causa del vincolo) e quindi f ( β ) . Se f ( β ) < f ( β * ) , allora β * non è la soluzione al P 2 , che contraddice nostre ipotesi. Se f ( β ) = f ( β * ) , allora β = β * , poiché abbiamo assunto la soluzione per essere unico.
Tuttavia, è possibile che il Lazo abbia più soluzioni. Con il lemma 1 di arxiv.org/pdf/1206.0313.pdf sappiamo che tutte queste soluzioni hanno lo stesso -norm (e lo stesso valore minimo, ovviamente). Impostiamo quella norma come vincolo per la P 1 e procediamo.
Denote di Let dalla l'insieme delle soluzioni di P 2 , con ‖ β ‖ = b ∀ β ∈ S . Sia P 1 ha una soluzione, ß ∉ S . Poi, abbiamo che ‖ β ‖ ≤ ‖ β ‖ ∀ β ∈ S e quindi f ( β ) ≤ f ( β ) ∀ β ∈ S . Se f per qualche β ∈ S (e quindi per tutti) allora β ∈ S , che contraddice nostre ipotesi. Se f ( β ) < f ( β ) per qualche β ∈ S allora S non è l'insieme di soluzioni di P 2 . Pertanto, ogni soluzione a P 1 è in S , cioè qualsiasi soluzione a P 1è anche una soluzione a . Rimarrebbe da dimostrare che vale anche il complemento.