Domande taggate «shrinkage»

Inclusione di ulteriori vincoli (in genere una penalità per la complessità) nel processo di adattamento del modello. Utilizzato per prevenire un eccesso di adattamento / migliorare la precisione predittiva.

1
In quali condizioni la regressione della cresta è in grado di fornire un miglioramento rispetto alla normale regressione dei minimi quadrati?
La regressione di Ridge stima i parametri ββ\boldsymbol \beta in un modello lineare y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta by β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, dove λλ\lambda è un parametro di regolarizzazione. È noto che spesso si comporta meglio …
4
Selezione della penalità ottimale per il lazo
Esistono risultati analitici o documenti sperimentali riguardanti la scelta ottimale del coefficiente del termine di penalità ℓ1ℓ1\ell_1 . Per ottimale intendo un parametro che massimizza la probabilità di selezionare il modello migliore o che minimizza la perdita attesa. Lo sto chiedendo perché spesso non è pratico scegliere il parametro per …
2
Che cos'è il restringimento?
La parola restringimento viene lanciata molto in alcuni ambienti. Ma cos'è il restringimento, non sembra esserci una definizione chiara. Se ho una serie temporale (o una raccolta di osservazioni di un certo processo) quali sono i diversi modi in cui posso misurare un qualche tipo di contrazione empirica sulla serie? …
2
Se il restringimento viene applicato in modo intelligente, funziona sempre meglio per stimatori più efficienti?
Supponiamo di avere due stimatori e che sono stimatori coerenti dello stesso parametro e tali che con in senso psd. Pertanto, asintoticamente è più efficiente di . Questi due stimatori si basano su diverse funzioni di perdita. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2) β …
1
Stimatore James-Stein con varianze ineguali
Ogni affermazione che trovo dello stimatore di James-Stein presuppone che le variabili casuali stimate abbiano la stessa (e unità) varianza. Ma tutti questi esempi menzionano anche che lo stimatore JS può essere usato per stimare quantità senza nulla a che fare l'una con l'altra. L' esempio di Wikipedia è la …
3
Come ottenere l'intervallo di confidenza sul cambio di r-square della popolazione
Per un semplice esempio, supponiamo che ci siano due modelli di regressione lineare Modello 1 ha tre predittori, x1a, x2b, ex2c Il modello 2 ha tre predittori dal modello 1 e due predittori aggiuntivi x2aex2b Esiste un'equazione di regressione della popolazione in cui la varianza della popolazione spiegata è per …
4
Rallegrare l'ordine di un ritardo?
Supponiamo di avere dati longitudinali della forma (ho più osservazioni, questa è solo la forma di una singola). Sono interessato a restrizioni su . Un senza restrizioni equivale a prendere con .Σ Σ Y j = α j + j - 1 ∑ ℓ = 1 ϕ ℓ j Y …
2
Distribuzione di parti "non miscelate" in base all'ordine del mix
Supponiamo che io abbia accoppiato osservazioni disegnate come Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right), per i=1,2,…,ni=1,2,…,ni=1,2,\ldots,n . Lasciare Zi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i, e Indichiamo con ZijZijZ_{i_j} la jjj esima grande valore osservato di ZZZ. Qual è la distribuzione (condizionale) di ? (o equivalentemente, quello di Y i j )XijXijX_{i_j}YijYijY_{i_j} …
1
Test di permutazione casuale per la selezione delle caratteristiche
Sono confuso sull'analisi delle permutazioni per la selezione delle caratteristiche in un contesto di regressione logistica. Potresti fornire una chiara spiegazione del test di permutazione casuale e come si applica alla selezione delle funzionalità? Forse con algoritmo esatto ed esempi. Infine, come si confronta con altri metodi di restringimento come …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.