Statistiche e Big Data

6

Spiegazione intuitiva del termine nella varianza dello stimatore del minimo quadrato

Se è al completo, esiste l'inverso di e otteniamo la stima dei minimi quadrati: eXXXβ = ( X T X ) - 1 X Y Var ( β ) = σ 2 ( X T X ) - 1XTXXTXX^TXβ^= ( XTX)-1XYβ^=(XTX)-1XY\hat\beta = (X^TX)^{-1}XYVar( β^) = σ2( XTX)- 1Var⁡(β^)=σ2(XTX)-1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} …

18 regression variance least-squares

5

Perché gli statistici hanno definito matrici casuali?

Ho studiato matematica dieci anni fa, quindi ho un background matematico e statistico, ma questa domanda mi sta uccidendo. Questa domanda è ancora un po 'filosofica per me. Perché gli statistici hanno sviluppato tutti i tipi di tecniche per lavorare con matrici casuali? Voglio dire, un vettore casuale non ha …

18 distributions mathematical-statistics random-variable random-matrix

1

Opinioni sul sovracampionamento in generale e l'algoritmo SMOTE in particolare [chiuso]

Chiuso . Questa domanda è basata sull'opinione . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che possa essere risolta con fatti e citazioni modificando questo post . Chiuso 2 anni fa . Qual è la tua opinione sul sovracampionamento della classificazione in generale …

18 machine-learning classification oversampling

5

Le statistiche bayesiane rendono obsoleta la meta-analisi?

Mi chiedo solo se le statistiche bayesiane sarebbero state applicate di conseguenza dal primo studio all'ultimo se ciò rendesse obsoleta una meta-analisi. Ad esempio, supponiamo che 20 studi siano stati condotti su diversi punti temporali. La stima o la distribuzione del primo studio è stata effettuata con un precedente non …

18 bayesian meta-analysis

3

Perché c'è -1 nella funzione di densità di distribuzione beta?

La distribuzione beta appare sotto due parametrizzazioni (o qui ) f ( x ) ∝ x α ( 1 - x ) βf(x)∝xα(1−x)β(1) f(x) \propto x^{\alpha} (1-x)^{\beta} \tag{1} o quello che sembra essere usato più comunemente f ( x ) ∝ x α - 1 ( 1 - x ) …

18 distributions references beta-distribution history beta-binomial

4

Il teorema di Bayes regge le aspettative?

È vero che per due variabili casuali AAA e BBB , E(A∣B)=E(B∣A)E(A)E(B)?E(A∣B)=E(B∣A)E(A)E(B)?E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?

18 bayesian mathematical-statistics

3

cosa rende le reti neurali un modello di classificazione non lineare?

Sto cercando di capire il significato matematico dei modelli di classificazione non lineari: Ho appena letto un articolo che parla delle reti neurali come modello di classificazione non lineare. Ma mi rendo conto che: Il primo strato: h1=x1∗wx1h1+x2∗wx1h2h1=x1∗wx1h1+x2∗wx1h2h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2} h2= x1∗ wx 2 h 1+ x2∗ wx 2 h 2h2=x1∗wx2h1+x2∗wx2h2h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2} Il …

18 neural-networks nonlinear-regression nonlinear

5

Intuizione (geometrica o altro) di

Considera l'identità elementare della varianza: Var(X)===E[(X−E[X])2]...E[X2]−(E[X])2Var(X)=E[(X−E[X])2]=...=E[X2]−(E[X])2 \begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray} È una semplice manipolazione algebrica della definizione di un momento centrale in momenti non centrali. Consente una comoda manipolazione di in altri contesti. Consente inoltre il calcolo della varianza tramite un …

18 variance descriptive-statistics intuition

1

Effettuiamo davvero analisi di regressione multivariata con coefficienti * milioni * / variabili indipendenti?

Sto dedicando un po 'di tempo all'apprendimento automatico (mi dispiace per la ricorsione :) e non potrei fare a meno di essere incuriosito dalla regola empirica della scelta di Discendente pendenza rispetto alla risoluzione diretta dell'equazione per i coefficienti di regressione computazionale, nel caso della regressione lineare multivariata. Regola empirica: …

18 machine-learning multiple-regression large-data

4

In statistica, dovrei supporre che significhi o il logaritmo naturale ?

Sto studiando le statistiche e spesso mi imbatto in formule contenenti il loge sono sempre confuso se dovrei interpretarlo come significato standard di log, cioè base 10, o se nelle statistiche il simbolo log è generalmente considerato il log naturale ln. In particolare sto studiando la stima della frequenza di …

18 mathematical-statistics notation logarithm

4

La varianza è un concetto più fondamentale della deviazione standard?

Su questo sito web di psicometria l' ho letto [A] una varianza di livello profondo è un concetto più fondamentale della deviazione standard. Il sito non spiega ulteriormente perché la varianza sia considerata più fondamentale della deviazione standard, ma mi ha ricordato che ho letto alcune cose simili su questo …

18 variance standard-deviation

4

Perché i minimi quadrati ordinari ottengono risultati migliori della regressione di Poisson?

Sto cercando di adattarmi a una regressione per spiegare il numero di omicidi in ogni distretto di una città. Anche se so che i miei dati seguono una distribuzione di Poisson, ho provato ad adattare un OLS in questo modo: l o g( y+ 1 ) = α + βX+ …

18 regression least-squares poisson-regression

2

Velocità, spese di calcolo di PCA, LASSO, rete elastica

Sto cercando di confrontare la complessità computazionale / la velocità di stima di tre gruppi di metodi per la regressione lineare, come distinto in Hastie et al. "Elements of Statistical Learning" (2a edizione), capitolo 3: Selezione del sottoinsieme Metodi di restringimento Metodi che utilizzano direzioni di input derivate (PCR, PLS) …

18 machine-learning estimation feature-selection algorithms time-complexity

1

Metodo del secondo momento, moto browniano?

Sia un moto browniano standard. Lascia che denoti l'evento e lascia dove indica la funzione indicatore. Esiste tale che per per tutti ? Sospetto che la risposta sia sì; Ho provato a scherzare con il metodo del secondo momento, ma non è stato molto utile. Questo può essere mostrato con …

18 probability self-study moments distributions brownian

1

Paradosso nella selezione dei modelli (AIC, BIC, per spiegare o prevedere?)

Dopo aver letto "To Explain or to Predict" (2010) di Galit Shmueli, sono perplesso da un'apparente contraddizione. Ci sono tre premesse, Scelta del modello basata su AIC rispetto a BIC (fine di p. 300 - inizio di p. 301): in poche parole, AIC dovrebbe essere usato per selezionare un modello …

18 forecasting model-selection feature-selection aic bic