Perché la differenza quadrata è così comunemente usata?

Molto spesso quando studio nuovi metodi e concetti statistici, incontro la differenza quadrata (o l'errore quadratico medio, o una pletora di altri epiteti). Proprio come un esempio, la r di Pearson viene decisa in base alla differenza quadratica media dalla linea di regressione in cui si trovano i punti. Per ANOVA, stai guardando la somma dei quadrati e così via.

Ora capisco che quadrando tutto, ti assicuri che i dati con i valori anomali vengano davvero penalizzati. Tuttavia, perché l'esponente viene utilizzato esattamente 2? Perché non 2.1, o e, o pi o altro? C'è qualche motivo speciale per cui viene usato 2 o è solo una convenzione? Sospetto che la spiegazione possa avere qualcosa a che fare con la curva a campana, ma ne sono abbastanza sicuro.

normal-distribution

— Speldosa
fonte

In primo luogo, stai abusando del termine EXPONENTIAL, che si riferisce a cose come

anziché

. In secondo luogo, dai un'occhiata a stats.stackexchange.com/questions/118/… dove questo argomento è trattato in modo esauriente.

a^{x}

$a^x$

x^{a}

$x^a$

— Russ Lenth,

@rvl Grazie, ho eliminato quel termine dalla mia domanda. E grazie, controllerò quella domanda!

— Speldosa,

Un buon motivo per cui emergono alla fine deriva dalle semplici formule che mettono in relazione le varianze delle somme con le varianze (e possibilmente le covarianze) dei componenti e i risultati accurati sulla decomposizione dei quadrati. Se la domanda @rvl si collega alla domanda precedente, ti preghiamo di considerare di chiudere la domanda. Se non risponde completamente alla tua domanda, modifica la tua domanda per evidenziare le differenze tra ciò che vuoi sapere e ciò che viene trattato lì.

— Glen_b

Penso che questa sia una domanda diversa rispetto all'altra (popolare) discussione sulla quadratura. Esiste una differenza concettuale tra una funzione di perdita quadrata (che, in fondo, è la chiave per rispondere a questa domanda) e la quadratura per valutare le deviazioni (che è la spinta dell'altro filo).

— whuber

Controlla qui e qui per problemi simili.

— Tim

Un approccio teorico-decisionale alle statistiche fornisce una spiegazione approfondita. Dice che le differenze di squadratura sono un proxy per una vasta gamma di funzioni di perdita che (ogni volta che potrebbero essere giustificatamente adottate) portano a una considerevole semplificazione delle possibili procedure statistiche che si devono considerare.

Sfortunatamente, spiegare cosa significa questo e indicare perché è vero richiede molta configurazione. La notazione può diventare rapidamente incomprensibile. Quello che mi propongo di fare qui, quindi, è solo di delineare le idee principali, con poca elaborazione. Per account più completi, consultare i riferimenti.

Un modello standard e ricco di dati ipotizza che si tratti di una realizzazione di una variabile casuale (reale, con valori vettoriali) la cui distribuzione è nota solo per essere un elemento di un insieme di distribuzioni, gli stati della natura . Una procedura statistica è una funzione di assume valori in alcune serie di decisioni , lo spazio decisionale. $\mathbf x$ $\mathbf X$ $F$ $\Omega$ $t$ $\mathbf x$ $D$

Per esempio, in una previsione o di classificazione problema consisterebbe di un'unione di un "training set" e di un "test insieme di dati" e mapperà in un insieme di valori previsti per il set di prova. L'insieme di tutti i possibili valori previsti sarebbe . $\mathbf x$ $t$ $\mathbf x$ $D$

Una discussione teorica completa delle procedure deve accogliere procedure randomizzate . Una procedura randomizzata sceglie tra due o più decisioni possibili in base a una certa distribuzione di probabilità (che dipende dai dati ). Generalizza l'idea intuitiva che quando i dati non sembrano distinguere tra due alternative, successivamente si "lancia una moneta" per decidere un'alternativa definita. Molte persone non amano le procedure randomizzate, obiettando a prendere decisioni in modo così imprevedibile. $\mathbf x$

La caratteristica distintiva della teoria delle decisioni è il suo uso di una funzione di perdita . $W$ Per qualsiasi stato di natura e decisione , la perdita $F \in \Omega$ $d \in D$

W (F, d)

$W(F,d)$

è un valore numerico che rappresenta quanto "cattivo" sarebbe prendere la decisione quando il vero stato della natura è : piccole perdite sono buone, grandi perdite sono cattive. In una situazione di verifica dell'ipotesi, ad esempio, ha i due elementi "accetta" e "rifiuta" (l'ipotesi nulla). La funzione di perdita enfatizza la decisione giusta: è impostata su zero quando la decisione è corretta e altrimenti è una costante . (Questa è chiamata " funzione di perdita:" tutte le decisioni sbagliate sono ugualmente sbagliate e tutte le buone decisioni sono ugualmente buone.) In particolare, quando $d$ $F$ $D$ $w$ $0-1$ $W(F,\text{ accept})=0$ è nell'ipotesi nulla e quando è nell'ipotesi alternativa. $F$ $W(F,\text{ reject})=0$ $F$

Quando si utilizza la procedura , la perdita per i dati quando il vero stato della natura è può essere scritta . Questo rende la perdita una variabile casuale la cui distribuzione è determinata da (sconosciuto) . $t$ $x$ $F$ $W(F, t(x))$ $W(F, t(X))$ $F$

La perdita attesa di una procedura è chiamata rischio , . L'attesa utilizza il vero stato della natura , che pertanto apparirà esplicitamente come un indice dell'operatore delle aspettative. Vedremo il rischio in funzione di e lo sottolineeremo con la notazione: $t$ $r_t$ $F$ $F$

r_{t} (F) = E_{F} (W (F, t (X))) .

$r_t(F) = \mathbb{E}_F(W(F, t(X))).$

Procedure migliori hanno un rischio inferiore. Pertanto, il confronto delle funzioni di rischio è la base per la selezione di buone procedure statistiche. Dato che riscalare tutte le funzioni di rischio con una costante comune (positiva) non cambierebbe alcun confronto, la scala di non fa alcuna differenza: siamo liberi di moltiplicarla per qualsiasi valore positivo che ci piace. In particolare, moltiplicando per possiamo sempre prendere per una funzione di perdita (giustificando il suo nome). $W$ $W$ $1/w$ $w=1$ $0-1$

Per continuare l'esempio di verifica dell'ipotesi, che illustra una funzione di perdita , queste definizioni implicano che il rischio di una nell'ipotesi nulla è la possibilità che la decisione sia "respinta", mentre il rischio di una in alternativa è il possibilità che la decisione sia "accetta". Il valore massimo (su tutta nell'ipotesi nulla) è la dimensione del test , mentre la parte della funzione di rischio definita sull'ipotesi alternativa è il complemento della potenza del test ( $0-1$ $F$ $F$ $F$ $\text{power}_t(F) = 1 - r_t(F)$ ). In questo vediamo come l'intera teoria classica (frequentista) test di ipotesi equivale a un modo particolare per confrontare le funzioni di rischio per un tipo speciale di perdita.

A proposito, tutto ciò che è stato presentato finora è perfettamente compatibile con tutte le statistiche tradizionali, incluso il paradigma bayesiano. Inoltre, Bayesiane introduce analisi una distribuzione di probabilità "anteriore" over e la utilizza per semplificare il confronto delle funzioni di rischio: potenzialmente complicato funzione può essere sostituita dal suo valore atteso rispetto alla distribuzione a priori. Pertanto tutte le procedure sono caratterizzate da un singolo numero ; una procedura di Bayes (che di solito è unica) minimizza . La funzione di perdita ancora svolge un ruolo essenziale nel calcolo . $\Omega$ $r_t$ $t$ $r_t$ $r_t$ $r_t$

Vi sono alcune (inevitabili) polemiche sull'uso delle funzioni di perdita. Come si sceglie ? È essenzialmente unico per il test delle ipotesi, ma nella maggior parte delle altre impostazioni statistiche sono possibili molte scelte. Riflettono i valori del decisore. Ad esempio, se i dati sono misurazioni fisiologiche di un paziente medico e le decisioni sono "trattare" o "non trattare", il medico deve considerare - e valutare in bilico - le conseguenze di entrambe le azioni. Il modo in cui vengono valutate le conseguenze può dipendere dai desideri del paziente, dalla sua età, dalla sua qualità di vita e da molte altre cose. La scelta di una funzione di perdita può essere irta e profondamente personale. Normalmente non dovrebbe essere lasciato allo statistico! $W$

Una cosa che vorremmo sapere, quindi, come cambierebbe la scelta della procedura migliore quando si cambia la perdita? Si scopre che in molte situazioni pratiche e comuni una certa quantità di variazione può essere tollerata senza cambiare la procedura migliore. Queste situazioni sono caratterizzate dalle seguenti condizioni:

Lo spazio decisionale è un insieme convesso (spesso un intervallo di numeri). Ciò significa che anche qualsiasi valore compreso tra due decisioni è valido.
La perdita è zero quando viene presa la migliore decisione possibile e altrimenti aumenta (per riflettere le discrepanze tra la decisione presa e la migliore che potrebbe essere presa per il vero - ma sconosciuto - stato di natura).
$0-1$

$W$

(1) Non dobbiamo considerare procedure randomizzate [Lehmann, corollario 6.2].

$t$ $W$ $t^{*}$ $W$

$\Omega$ $\mu$ $\Omega$ $\mu$ $\Omega$ $\mu$ $X$ $n$ $\mu$ $D$ $\mu$ $\hat\mu$

W (μ, \hat{μ}) \geq 0

$W(\mu, \hat\mu) \ge 0$

$W(\mu, \hat\mu)=0$ $\mu=\hat\mu$

W (μ, \hat{μ}) = w_{2} (\hat{μ} - μ)^{2} + o (\hat{μ} - μ)^{2}

$W(\mu, \hat\mu) = w_2 (\hat\mu - \mu)^2 + o(\hat\mu - \mu)^2$

$w_2$ $o(y)^p$ $f$ $f(y) / y^p$ $0$ $y\to 0$ $W$ $w_2=1$ $\Omega$ $X$ $\bar X$ $\mu$ $n$ $(x_1, \ldots, x_n)$ $W$ $\bar x$ $W$

$n$

$z = |\hat\mu-\mu|$ $2$ $2.1, e,$ $\pi$ $\exp(z)-1-z$

figura

$2(\exp(|z|)-1-|z|)$ $z^2$ $0$

Questi risultati (sebbene ovviamente limitati dalle condizioni imposte) aiutano a spiegare perché la perdita quadratica è onnipresente nella teoria e nella pratica statistica: in misura limitata, è un proxy analiticamente conveniente per qualsiasi funzione di perdita differenziata convessa.

La perdita quadratica non è affatto l'unica o addirittura la migliore perdita da considerare. In effetti, Lehman lo scrive

$W(F, d)$

... [F] in caso di crescenti funzioni di perdita portano a stimatori che tendono ad essere sensibili alle ipotesi fatte sul [comportamento] della coda [della distribuzione presunta], e queste ipotesi si basano tipicamente su poche informazioni e quindi non sono molto affidabile.

Si scopre che gli stimatori prodotti dalla perdita quadrata di errori spesso sono scomodamente sensibili a questo riguardo.

[Lehman, sezione 1.6; con alcuni cambiamenti di notazione.]

Considerare le perdite alternative apre una ricca serie di possibilità: regressione quantile, stimatori M, statistiche affidabili e molto altro ancora possono essere inquadrati in questo modo teorico-decisionale e giustificati usando funzioni di perdita alternative. Per un semplice esempio, vedere Funzioni di perdita percentuale .

Riferimenti

Jack Carl Kiefer, Introduzione all'inferenza statistica. Springer-Verlag 1987.

EL Lehmann, Teoria della stima puntuale . Wiley 1983.

— whuber
fonte

Le proprietà geometriche per questa metrica della distanza sono tali che sarà facile da usare.

E ovviamente matematica più semplice se hai una soluzione analitica per la maggior parte dei problemi.

— Analista
fonte

Forse potresti elaborare un po 'di più?

— Tim

@Tim, la disuguaglianza del triangolo e le proprietà matematiche delle forme quadratiche mi sono venute in mente ...

— Analista

La disuguaglianza del triangolo esiste per ogni metrica di distanza. Ciò che rende peculiare la distanza euclidea / 2 norma / differenza quadrata / MSE è l'ampia serie di trasformazioni che la preservano (tutte le matrici ortogonali).

— Federico Poloni,