Deviazione standard della deviazione standard

Che cos'è uno stimatore della deviazione standard della deviazione standard se si può ipotizzare la normalità dei dati?

estimation standard-deviation normality-assumption

— Ferdi
fonte

Suppongo che tu stia cercando la distribuzione della varianza del campione . Questo si collega a una sezione della pagina Wikipedia sulla varianza del 16:55, 21 agosto 2016. Poiché si tratta di un collegamento a Wikipedia, l'articolo potrebbe cambiare in futuro. Pertanto, la sezione potrebbe non riflettere i contenuti a cui questa risposta si riferisce dopo tali modifiche. Pertanto, qui viene fornito un collegamento a una versione storica della pagina di Wikipedia. L'articolo attuale sulla varianza si trova [qui] ( en.wikipedia.org/wik

Risposte:

Lasciate . Come mostrato in questa discussione , la deviazione standard della deviazione standard del campione, $X_1, ..., X_n \sim N(\mu, \sigma^2)$

S = \sqrt{\frac{1}{n - 1} Σ_{io = 1}^{n} (X_{io} - \bar{X})},

$s = \sqrt{ \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X}) },$

S D (S) = \sqrt{E ([E (S) - S]^{2})} = σ \sqrt{1 - \frac{2}{n - 1} \cdot {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}}

${\rm SD}(s) = \sqrt{ E \left( [E(s)- s]^2 \right) } = \sigma \sqrt{ 1 - \frac{2}{n-1} \cdot \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2 }$

dove è la funzione gamma , è la dimensione del campione e $\Gamma(\cdot)$ $n$ è la media del campione. Poichéè uno stimatore coerente di, questo suggerisce di sostituireconnell'equazione precedente per ottenere uno stimatore coerente di. $\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$ $s$ $\sigma$ $\sigma$ $s$ ${\rm SD}(s)$

Se è uno stimatore imparziale che cerchi, in questa discussione vediamo che , che, per linearità delle aspettative, suggerisce $E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

S \cdot \sqrt{\frac{n - 1}{2}} \cdot \frac{Γ (\frac{n - 1}{2})}{Γ (n / 2)}

$s \cdot \sqrt{ \frac{n-1}{2} } \cdot \frac{\Gamma( \frac{n-1}{2} )}{ \Gamma(n/2) }$

come uno stimatore imparziale di . Tutto ciò insieme alla linearità delle aspettative fornisce uno stimatore imparziale di : $\sigma$ ${\rm SD}(s)$

S \cdot \frac{Γ (\frac{n - 1}{2})}{Γ (n / 2)} \cdot \sqrt{\frac{n - 1}{2} - {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}}

$s \cdot \frac{\Gamma( \frac{n-1}{2} )}{ \Gamma(n/2) } \cdot \sqrt{\frac{n-1}{2} - \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2 }$

— macro
fonte

+1 È bello vedere non solo una risposta migliore arriva dopo quasi due anni, ma una risposta che fornisce dettagli più utili rispetto ai riferimenti altrove in questa discussione.

— whuber

Hai dimenticato di quadrare le distanze nella prima formula?

— danijar,

La funzione Gamma è difficile da calcolare per valori non piccoli di

. Applicando l'approssimazione di Stirling, ottengo

n

$n$

, che è fattibile dal punto di vista computazionale e un po 'più compatto in termini di espressione.

s \cdot \sqrt{e \cdot (1 - \frac{1}{n})^{n - 1} - 1}

$s\cdot\sqrt{\mathrm{e}\cdot(1-\frac{1}{n})^{n-1}-1}$

— equaeghe

Probabilmente vale la pena sottolineare che s (calcolato nella risposta di @ Macro viene talvolta indicato come errore standard della deviazione standard del campione.

— Harvey Motulsky

Per chi desidera una forma semplice,

è una buona approssimazione a un livello di qualche percento.

s / \sqrt{2 (n - 1)}

$s/\sqrt{2(n-1)}$

— Syrtis Major,

Supponiamo di osservare iid da una normale con zero medio e varianza . L'(empirica) deviazione standard è la radice quadrata dello stimatore di (non distorta o meno che non è la domanda). Come stimatore (ottenuto con ha una varianza che può essere calcolato teoricamente. Forse ciò che tu chiami la deviazione standard della deviazione standard è in realtà la radice quadrata della varianza della deviazione standard, cioè $X_1,\dots,X_n$ $\sigma^2$ $\hat{\sigma}^2$ $\sigma^2$ $X_1,\dots,X_n$ $\hat{\sigma}$ ? Non è uno stimatore, è una quantità teorica (qualcosa come $\sqrt{E[(\sigma-\hat{\sigma})^2]}$ da confermare) che può essere calcolato esplicitamente! $\sigma/\sqrt{n}$

— pettirosso
fonte

Una funzione dello stimatore non è ancora uno stimatore? Non so ancora \ sigma, solo X_i.

ok, allora si avrà probabilmente stimare la radice quadrata della varianza della stima della radice quadrata della varianza ... giusto :) dovrebbe essere qualcosa come

\hat{σ} / n

$\hat{\sigma}/n$

— Robin Girard,

Ciò che Srikant ha trovato (e ciò che sembra confermato in PhysicsForums) dovrebbe essere

, quindi piuttosto

\sqrt{2}

$\sqrt{2}$

\hat{σ} \frac{\sqrt{2}}{2 n}

$\hat{\sigma}\frac{\sqrt{2}}{2n}$

Aww, quei commenti bloccano;

. Almeno questo dà il risultato in accordo con bootstrap.

\frac{\hat{σ}}{\sqrt{2 n}}

$\frac{\hat{\sigma}}{\sqrt{2n}}$

-3

@Macro ha fornito una grande spiegazione matematica con l'equazione da calcolare. Ecco un'esplorazione più generale per le persone meno matematiche.

Penso che la terminologia "SD of SD" sia confusa per molti. È più facile pensare all'intervallo di confidenza di una SD. Quanto è precisa la deviazione standard calcolata da un campione? Per caso, ti è capitato di ottenere dati strettamente raggruppati, rendendo la SD del campione molto più bassa della SD della popolazione. Oppure potresti avere valori casualmente ottenuti che sono molto più dispersi rispetto alla popolazione complessiva, rendendo la SD campione superiore alla SD popolazione.

L'interpretazione dell'IC della SD è semplice. Inizia con l'ipotesi abituale che i tuoi dati siano stati campionati in modo casuale e indipendente da una distribuzione gaussiana. Ora ripeti questo campionamento molte volte. Ti aspetti che il 95% di quegli intervalli di confidenza includa la vera popolazione SD.

Quanto è ampio l'intervallo di confidenza al 95% di una SD? Dipende ovviamente dalla dimensione del campione (n).

n: IC al 95% di SD

2: da 0,45 * SD a 31,9 * SD

3: da 0,52 * SD a 6,29 * SD

5: 0.60 * Da SD a 2.87 * SD

10: da 0,69 * SD a 1,83 * SD

25: 0,78 * Da SD a 1,39 * SD

50: 0,84 * Da SD a 1,25 * SD

100: 0,88 * Da SD a 1,16 * SD

500: 0.94 * Da SD a 1.07 * SD

Calcolatore web gratuito

— Harvey Motulsky
fonte

Posso fare Monte Carlo, volevo solo farlo in un modo più "scientifico"; hai ancora ragione che la distribuzione non è normale, quindi questo SD sarà inutile per i test.

Per quello che vale, mi sento a disagio con l'affermazione "un intervallo di confidenza che è del 95% ... probabilmente conterrà la vera SD" (o, dichiarato più esplicitamente nella pagina collegata: "puoi essere sicuro al 95% che il L'IC calcolato dalla SD di esempio contiene la SD di popolazione reale "). Penso che queste affermazioni flirtino con il rafforzamento di un malinteso popolare, vedere qui , ad esempio, per una discussione correlata sul CV.

— gung - Ripristina Monica

Che cosa significa "Penso che sia il concetto che la terminologia di" SD di SD "siano troppo scivolosi per affrontare" dovrebbe significare? La deviazione standard del campione è una variabile casuale che ha una deviazione standard.

— Macro

@Macro. Grazie per i tuoi commenti Ho riscritto sostanzialmente.

— Harvey Motulsky,

@gung. Ho riscritto per spiegare correttamente l'intervallo di confidenza.

— Harvey Motulsky,