Domande taggate «fisher-information»

Le informazioni di Fisher misurano la curvatura della verosimiglianza e possono essere utilizzate per valutare l'efficienza degli stimatori.

2
Domanda di base sulla matrice delle informazioni di Fisher e relazione con l'Assia e errori standard
Ok, questa è una domanda abbastanza semplice, ma sono un po 'confuso. Nella mia tesi scrivo: Gli errori standard possono essere trovati calcolando l'inverso della radice quadrata degli elementi diagonali della matrice (osservata) di Fisher Information: Dal momento che il comando ottimizzazione minimizza R-logLil (osservata) a matrice Fisher informazioni può …
3
Che tipo di informazioni sono le informazioni di Fisher?
Supponiamo di avere una variabile casuale X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta) . Se θ0θ0\theta_0 fosse il parametro vero, la funzione di verosimiglianza dovrebbe essere massimizzata e la derivata uguale a zero. Questo è il principio alla base dello stimatore della massima verosimiglianza. A quanto ho capito, le informazioni di Fisher sono definite …
3
Collegamento tra metrica di Fisher ed entropia relativa
Qualcuno può provare la seguente connessione tra la metrica di informazioni di Fisher e la relativa entropia (o divergenza di KL) in modo rigorosamente matematico rigoroso? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) dove a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) …
2
Perché la matrice di informazioni Fisher è semidefinita positiva?
Consenti . La matrice di informazioni Fisher è definita come:θ ∈ Rnθ∈Rn\theta \in R^{n} io( θ )io , j= - E[ ∂2log( f( X| θ))∂θio∂θj|||θ ]io(θ)io,j=-E[∂2log⁡(f(X|θ))∂θio∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Come posso dimostrare che la matrice di informazioni Fisher è semidefinita positiva?
2
Esempio per un precedente, che a differenza di Jeffreys, porta a un posteriore che non è invariante
Sto ripubblicando una "risposta" a una domanda che avevo posto due settimane fa qui: Perché è utile il Jeffreys? Era davvero una domanda (e non avevo nemmeno il diritto di pubblicare commenti in quel momento), quindi spero sia giusto farlo: Nel link sopra si discute che l'interessante caratteristica di Jeffreys …
2
Perché vengono utilizzate esattamente le informazioni Fisher osservate?
Nell'impostazione della probabilità massima standard (tra il campione da una distribuzione con densità )) e nel caso di un modello correttamente specificato, il Fisher le informazioni sono fornite daY1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] dove viene presa l'aspettativa rispetto alla densità reale che ha generato i dati. Ho …
2
La matrice di informazioni osservate è uno stimatore coerente della matrice di informazioni prevista?
Sto cercando di dimostrare che la matrice di informazioni osservate valutata allo stimatore della massima verosimiglianza debolmente coerente (MLE) è uno stimatore debolmente coerente della matrice di informazioni attesa. Questo è un risultato ampiamente citato ma nessuno fornisce un riferimento o una prova (ho esaurito penso che le prime 20 …
1
Qual è l'intuizione dietro i campioni scambiabili sotto l'ipotesi nulla?
I test di permutazione (chiamati anche test di randomizzazione, test di ri-randomizzazione o test esatto) sono molto utili e sono utili quando l'assunzione della distribuzione normale richiesta da per esempio t-testnon è soddisfatta e quando la trasformazione dei valori per classifica del test non parametrici come Mann-Whitney-U-testquesto porterebbero alla perdita …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
1
Condizioni per l'esistenza di una matrice di informazioni Fisher
Diversi libri di testo citano condizioni diverse per l'esistenza di una matrice di informazioni Fisher. Diverse condizioni di questo tipo sono elencate di seguito, ognuna delle quali appare in alcune, ma non in tutte, le definizioni di "matrice di informazioni Fisher". Esiste un insieme standard e minimo di condizioni? Delle …
2
Determinante della matrice di informazioni Fisher per un modello sovra parametrizzato
Considera una variabile casuale Bernoulli con parametro (probabilità di successo). La funzione di verosimiglianza e le informazioni di Fisher (una matrice ) sono:θ 1 × 1X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} Consideriamo ora una versione "sovraparametrizzata" con due …
1
Quale modello di apprendimento profondo può classificare categorie che non si escludono a vicenda
Esempi: ho una frase nella descrizione del lavoro: "Ingegnere senior Java nel Regno Unito". Voglio usare un modello di apprendimento profondo per prevederlo in 2 categorie: English e IT jobs. Se uso il modello di classificazione tradizionale, posso solo prevedere 1 etichetta con la softmaxfunzione all'ultimo livello. Quindi, posso usare …
9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.