Statistiche e Big Data inference

2

Perché la matrice di informazioni Fisher è semidefinita positiva?

Consenti . La matrice di informazioni Fisher è definita come:θ ∈ Rnθ∈Rn\theta \in R^{n} io( θ )io , j= - E[ ∂2log( f( X| θ))∂θio∂θj|||θ ]io(θ)io,j=-E[∂2log⁡(f(X|θ))∂θio∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Come posso dimostrare che la matrice di informazioni Fisher è semidefinita positiva?

18 inference linear-algebra fisher-information

3

Qual è la differenza tra un "esperimento statistico" e un "modello statistico"?

Sto seguendo AW van der Vaart, statistiche asintotiche (1998). Parla di esperimenti statistici, sostenendo che sono diversi da un modello statistico, ma non definisce nessuno dei due. La mia domanda: Cos'è (1) un esperimento statistico, (2) un modello statistico e (3) qual è l'ingrediente chiave che renderà sempre l'esperimento statistico …

17 mathematical-statistics inference experiment-design descriptive-statistics model

3

Le statistiche descrittive hanno valori p?

Mi viene chiesto di trovare i valori p per le statistiche descrittive. Tuttavia, capisco che i valori p sono per le statistiche dei test. Se non sbaglio, un valore p è la probabilità di osservare un valore estremo come la statistica del test se l'ipotesi nulla fosse vera.

17 hypothesis-testing descriptive-statistics inference

3

Il pdf, il pmf e il cdf contengono le stesse informazioni?

Il pdf, il pmf e il cdf contengono le stesse informazioni? Per me il pdf dà tutta la probabilità ad un certo punto (sostanzialmente l'area sotto la probabilità). Il pmf fornisce la probabilità di un certo punto. Il cdf dà la probabilità sotto un certo punto. Quindi per me il …

17 probability distributions pdf inference cdf

3

Usare la regolarizzazione quando si fa inferenza statistica

Conosco i vantaggi della regolarizzazione quando si creano modelli predittivi (distorsione rispetto alla varianza, prevenendo un eccesso di adattamento). Ma mi chiedo se sia una buona idea fare anche regolarizzazione (lazo, cresta, rete elastica) quando lo scopo principale del modello di regressione è l'inferenza sui coefficienti (vedere quali predittori sono …

17 inference lasso ridge-regression elastic-net selectiveinference

2

Quali sono i "coefficienti dei discriminanti lineari" in LDA?

In R, uso la ldafunzione dalla libreria MASSper fare la classificazione. A quanto ho capito LDA, l'ingresso XXx verrà assegnato all'etichetta yyy , che massimizza p ( y| x)p(y|X)p(y|x) , giusto? Ma quando inserisco il modello, in cui x = ( L a g1 , L a g2 )X=(Lun'g1,Lun'g2)x=(Lag1,Lag2)y= D …

17 r discriminant-analysis inference

4

Storie di guerra in cui sono state prese decisioni sbagliate sulla base di informazioni statistiche?

Penso che sia giusto dire che la statistica è una scienza applicata, quindi quando vengono calcolate le medie e le deviazioni standard è perché qualcuno sta cercando di prendere alcune decisioni sulla base di quei numeri. Parte dell'essere un buon statistico quindi spero sia in grado di "rilevare" quando i …

16 references inference descriptive-statistics history fallacy

2

Siamo frequentisti davvero solo bayesiani impliciti / inconsapevoli?

Per un dato problema di inferenza, sappiamo che un approccio bayesiano di solito differisce sia nella forma che nei risultati da un approccio fequentista. I frequentatori (di solito mi includono) sottolineano spesso che i loro metodi non richiedono un precedente e quindi sono più "guidati dai dati" che dal "giudizio …

15 bayesian inference likelihood likelihood-ratio frequentist

2

Perché la distribuzione posteriore nell'inferenza bayesiana è spesso intrattabile?

Ho un problema a capire perché l'inferenza bayesiana porta a problemi intrattabili. Il problema viene spesso spiegato in questo modo: Quello che non capisco è perché questo integrale debba essere valutato in primo luogo: mi sembra che il risultato dell'integrale sia semplicemente una costante di normalizzazione (come viene dato il …

15 bayesian inference

2

Quando smettere di affinare un modello?

Ho studiato le statistiche di molti libri negli ultimi 3 anni e grazie a questo sito ho imparato molto. Tuttavia una domanda fondamentale rimane ancora senza risposta per me. Potrebbe avere una risposta molto semplice o molto difficile, ma so per certo che richiede una profonda comprensione delle statistiche. Quando …

15 modeling inference aic

2

Le distribuzioni di campionamento sono legittime per deduzione?

Alcuni bayesiani attaccano l'inferenza del frequentatore affermando che "non esiste una distribuzione campionaria unica" perché dipende dalle intenzioni del ricercatore (Kruschke, Aguinis e Joo, 2012, p. 733). Ad esempio, supponiamo che un ricercatore inizi la raccolta dei dati, ma il suo finanziamento è stato inaspettatamente tagliato dopo 40 partecipanti. Come …

15 distributions inference frequentist

1

Ridurre al minimo i pregiudizi nella modellazione esplicativa, perché? ("Spiegare o predire" di Galit Shmueli)

Questa domanda fa riferimento al documento di Galit Shmueli "Spiegare o predire" . Nello specifico, nella sezione 1.5, "Spiegazione e previsione sono diverse", il professor Shmueli scrive: Nella modellistica esplicativa l'attenzione si concentra sulla minimizzazione della distorsione per ottenere la rappresentazione più accurata della teoria sottostante. Questo mi ha lasciato …

15 predictive-models inference bias unbiased-estimator explanatory-models

1

Quale metodo di confronto multiplo utilizzare per un modello lmer: lsmeans o glht?

Sto analizzando un set di dati usando un modello di effetti misti con un effetto fisso (condizione) e due effetti casuali (partecipante a causa del disegno e della coppia all'interno del soggetto). Il modello è stato generato conlme4 pacchetto: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Successivamente, ho eseguito un test del rapporto di verosimiglianza di …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

5

Cosa significa che una regressione lineare è statisticamente significativa ma ha un r quadrato molto basso?

Capisco che significhi che il modello non è in grado di prevedere i singoli punti dati, ma ha stabilito una tendenza stabile (ad esempio, y sale quando x sale).

14 regression inference r-squared linear

4

Inferenza per il lettore scettico (ma non contrario alla matematica)

Ho appena visto una lezione sull'inferenza statistica ("confrontare proporzioni e mezzi"), parte di un'introduzione al corso online sulle statistiche. Il materiale per me aveva poco senso come sempre (ormai devo aver visto questa roba dozzine di volte, sparsa negli ultimi tre decenni). Sto cercando un libro su "Stats-101 di base" …

14 references inference point-estimation

Domande taggate «inference»