Funzioni di influenza e OLS

Sto cercando di capire come funzionano le funzioni di influenza. Qualcuno potrebbe spiegare nel contesto di una semplice regressione OLS

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

dove voglio la funzione influenza per . $\beta$

regression least-squares

— stevejb
fonte

Non c'è ancora una domanda specifica qui: vuoi vedere come viene calcolata la funzione di influenza? Vuoi un esempio empirico specifico? Una spiegazione euristica di cosa significhi?

— whuber

Se cerchi l'articolo di Frank Critchley del 1986 "influenza le funzioni nei componenti principali" (non ricordi il nome esatto del documento). Definisce qui la funzione di influenza per la regressione ordinaria (che può o meno dimostrare la mia risposta sbagliata).

— Probislogic

Risposte:

Le funzioni di influenza sono sostanzialmente uno strumento analitico che può essere utilizzato per valutare l'effetto (o "influenza") della rimozione di un'osservazione sul valore di una statistica senza dover ricalcolare quella statistica . Possono anche essere utilizzati per creare stime di varianza asintotica. Se l'influenza è uguale a allora la varianza asintotica è . $I$ $\frac{I^2}{n}$

Il modo in cui comprendo le funzioni di influenza è il seguente. Hai una sorta di CDF teorico, indicato da . Per un semplice OLS, hai $F_{i}(y)=Pr(Y_{i}<y_{i})$

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$ Dove è il normale CDF standard e è la varianza dell'errore. Ora puoi mostrare che qualsiasi statistica sarà una funzione di questo CDF, quindi la notazione (cioè una funzione di ). Supponiamo ora di cambiare la funzione di "un po '", in Where e . Pertanto rappresenta il CDF dei dati con il punto dati "ith" rimosso. Possiamo fare una serie di Taylor

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$ circa . Questo da:

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

Nota che quindi otteniamo: $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

La derivata parziale qui è chiamata la funzione di influenza. Quindi questo rappresenta una correzione approssimativa del "primo ordine" da apportare a una statistica a causa dell'eliminazione dell'osservazione "I". Si noti che nella regressione il resto non va a zero asintoticamente, quindi questa è un'approssimazione delle modifiche che si possono effettivamente ottenere. Ora scrivi come: $\beta$

β = \frac{\frac{1}{n} \sum_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

Quindi beta è una funzione di due statistiche: la varianza di X e la covarianza tra X e Y. Queste due statistiche hanno rappresentazioni in termini di CDF come:

c o v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$ e dove

v a r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{x} = \int x d F

$\mu_x=\int xdF$

Per rimuovere la sua osservazione sostituiamo in entrambi gli integrali per dare: $F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (i)} = \int x d [(1 + ζ) F - ζ δ_{(i)}] = μ_{x} - ζ (x_{i} - μ_{x})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V a r (X)_{(i)} = \int (X - μ_{x (i)})^{2} d F_{(i)} = \int (X - μ_{x} + ζ (x_{i} - μ_{x}))^{2} d [(1 + ζ) F - ζ δ_{(i)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

ignorando i termini di e semplificando otteniamo: Allo stesso modo per la covarianza $\zeta^{2}$

V a r (X)_{(i)} \approx V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C o v (X, Y)_{(i)} \approx C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

Quindi ora possiamo esprimere in funzione di . Questo è: $\beta_{(i)}$ $\zeta$

β_{(i)} (ζ) \approx \frac{C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]}{V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

Ora possiamo usare la serie Taylor:

β_{(i)} (ζ) \approx β_{(i)} (0) + ζ {[\frac{\partial β_{(i)} (ζ)}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

Semplificando ciò si ottiene:

β_{(io)} (ζ) \approx β - ζ [\frac{(X_{io} - μ_{X}) (y_{io} - μ_{y})}{V un' r (X)} - β \frac{(X_{io} - μ_{X})^{2}}{V un' r (X)}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

E inserendo i valori delle statistiche , , e otteniamo: $\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{(io)} \approx β - \frac{X_{io} - \bar{X}}{n - 1} [\frac{y_{io} - \bar{y}}{\frac{1}{n} Σ_{j = 1}^{n} (X_{j} - \bar{X})^{2}} - β \frac{X_{io} - \bar{X}}{\frac{1}{n} Σ_{j = 1}^{n} (X_{j} - \bar{X})^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

E puoi vedere come è possibile approssimare l'effetto della rimozione di una singola osservazione senza dover adattare nuovamente il modello. Puoi anche vedere come una x uguale alla media non ha influenza sulla pendenza della linea . Pensaci e vedrai come ha senso. Puoi anche scrivere questo in modo più succinto in termini di valori standardizzati (in modo simile per y): $\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{(io)} \approx β - \frac{\tilde{X_{io}}}{n - 1} [\tilde{y_{io}} \frac{S_{y}}{S_{X}} - \tilde{X_{io}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— probabilityislogic
fonte

Quindi la storia riguarda l'influenza di un punto dati aggiuntivo? Mi sono più abituato alla risposta all'impulso per i dati delle serie temporali, in un contesto statistico tutta l'influenza sarebbe descritta da un effetto marginale o (migliore scelta) coefficiente beta dalla regressione standardizzata. Beh, ho davvero bisogno di più contesto per giudicare la domanda e la risposta, ma questo è carino, penso (+1 non ancora ma in attesa).

— Dmitrij Celov,

@dmitrij - Questo è ciò che era implicito (o che ho dedotto) dal link - riguarda le proprietà di robustezza di una statistica. Le funzioni di influenza sono leggermente più generali di 1 punto dati: puoi ridefinire la funzione delta per essere una somma di esse (tante osservazioni). Lo considererei un "coltello a buon mercato" in una certa misura, perché non è necessario un nuovo montaggio del modello.

— Probislogic

Ecco un modo super generale per parlare delle funzioni di influenza di una regressione. Per prima cosa affronterò un modo di presentare le funzioni di influenza:

Supponiamo che sia una distribuzione su . La funzione di distribuzione contaminata , può essere definita come: dove è la misura di probabilità su che assegna la probabilità da 1 a e 0 a tutti gli altri elementi di . $F$ $\Sigma$ $F_\epsilon(x)$

F_{ε} (X) = (1 - ε) F + ε δ_{X}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

Da questo possiamo definire abbastanza facilmente la funzione di influenza:

La funzione di influenza di in , è definita come: $\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ}, F} (X) = lim_{ε \to 0} \frac{\hat{θ} (F_{ε} (X)) - \hat{θ} (F)}{ε}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

Da qui è possibile vedere che una funzione di influenza è la derivata di Gateaux di in nella direzione di . Questo rende l'interpretazione delle funzioni di influenza (per me) un po 'più chiara: una funzione di influenza ti dice l'effetto che una particolare osservazione ha sullo stimatore. $\hat\theta$ $F$ $\delta_x$

La stima OLS è una soluzione al problema:

\hat{θ} = \arg min_{θ} E [(Y - X θ)^{T} (Y - X θ)]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

Immagina una distribuzione contaminata che metta un po 'più di peso sull'osservazione : $(x,y)$

{\hat{θ}}_{ε} = \arg min_{θ} (1 - ε) E [(Y - X θ)^{T} (Y - X θ)] + ε (y - X θ)^{T} (y - X θ)

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

Condizioni del primo ordine:

{(1 - ε) E [X^{T} X] + ε X^{T} X} {\hat{θ}}_{ε} = (1 - ε) E [X^{T} Y] + ε X^{T} y

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

Poiché la funzione di influenza è solo un derivato di Gateaux ora possiamo dire:

- (E [X^{T} X] + X^{T} X) {\hat{θ}}_{ε} + E [X^{T} X] ψ_{θ} (X, y) = - E [X^{T} Y] + X^{T} y

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

At , , quindi: $\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} (X, y) = E [X^{T} X]^{- 1} X^{T} (y - X θ)

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

La controparte del campione finito di questa funzione di influenza è:

ψ_{θ} (X, y) = {(\frac{1}{N} \underset{io}{Σ} X_{io}^{T} X_{io})}^{- 1} X^{T} (y - X θ)

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

In generale, trovo che questo framework (lavorare con le funzioni di influenza come derivati di Gateaux) sia più facile da gestire.

— jayk
fonte