Statistiche e Big Data

27

Sono disponibili libri di testo statistici gratuiti?

119 teaching references

5

Qual è la differenza tra normalizzazione e standardizzazione?

Al lavoro ne discutevamo perché il mio capo non ha mai sentito parlare di normalizzazione. Nell'algebra lineare, la normalizzazione sembra riferirsi alla divisione di un vettore per la sua lunghezza. E nelle statistiche, la standardizzazione sembra riferirsi alla sottrazione di una media che poi si divide per la sua SD. …

118 descriptive-statistics normalization standardization

8

La causalità implica correlazione?

La correlazione non implica la causalità, poiché potrebbero esserci molte spiegazioni per la correlazione. Ma la causalità implica correlazione? Intuitivamente, penso che la presenza della causalità significhi che c'è necessariamente una correlazione. Ma il mio intuito non mi ha sempre servito bene nelle statistiche. La causalità implica correlazione?

118 correlation causality

9

Quando è possibile rimuovere l'intercettazione in un modello di regressione lineare?

Sto eseguendo modelli di regressione lineare e mi chiedo quali siano le condizioni per rimuovere il termine di intercettazione. Nel confrontare i risultati di due diverse regressioni in cui una ha l'intercettazione e l'altra no, noto che della funzione senza l'intercettazione è molto più alta. Ci sono alcune condizioni o …

118 regression linear-model r-squared intercept

9

Esempio numerico per comprendere l'aspettativa-massimizzazione

Sto cercando di capire bene l'algoritmo EM, per poterlo implementare e usarlo. Ho trascorso un'intera giornata a leggere la teoria e un documento in cui viene utilizzato EM per tracciare un aereo utilizzando le informazioni sulla posizione provenienti da un radar. Onestamente, non credo di aver compreso appieno l'idea di …

117 regression probability mathematical-statistics intuition expectation-maximization

21

Qual è la differenza tra probabilità e statistiche?

Qual è la differenza tra probabilità e statistiche e perché vengono studiate insieme?

116 probability teaching mathematical-statistics

6

Perché i valori di p sono distribuiti uniformemente sotto l'ipotesi nulla?

Di recente, ho trovato in un articolo di Klammer, et al. una dichiarazione secondo cui i valori di p dovrebbero essere distribuiti uniformemente. Credo agli autori, ma non riesco a capire perché sia così. Klammer, AA, Park, CY e Stafford Noble, W. (2009) Calibrazione statistica della funzione SEQUEST XCorr . …

115 p-value uniform

16

Se 900 persone su 1000 affermano che un'auto è blu, qual è la probabilità che sia blu?

Questo inizialmente è sorto in relazione al lavoro che stiamo facendo su un modello per classificare il testo naturale, ma l'ho semplificato ... Forse troppo. Hai una macchina blu (per qualche misura scientifica oggettiva - è blu). Lo mostri a 1000 persone. 900 dicono che è blu. 100 no. Tu …

114 probability

3

Come vengono calcolati gli errori standard dei coefficienti in una regressione?

Per la mia comprensione, sono interessato a replicare manualmente il calcolo degli errori standard dei coefficienti stimati poiché, ad esempio, viene fornito l'output della lm()funzione R, ma non sono stato in grado di fissarlo. Qual è la formula / implementazione utilizzata?

114 r regression standard-error lm

10

Qual è la differenza tra una rete neurale e una rete neurale profonda e perché quelle profonde funzionano meglio?

Non ho visto la domanda dichiarata proprio in questi termini, ed è per questo che faccio una nuova domanda. Quello che mi interessa sapere non è la definizione di una rete neurale, ma la comprensione della reale differenza con una rete neurale profonda. Per più contesto: so cos'è una rete …

114 neural-networks deep-learning

2

Derivazione delle distribuzioni condizionate di una distribuzione normale multivariata

Abbiamo un vettore normale multivariato Y∼N(μ,Σ)Y∼N(μ,Σ){\boldsymbol Y} \sim \mathcal{N}(\boldsymbol\mu, \Sigma) . Prendi in considerazione il partizionamento μμ\boldsymbol\mu e YY{\boldsymbol Y} in μ=[μ1μ2]μ=[μ1μ2]\boldsymbol\mu = \begin{bmatrix} \boldsymbol\mu_1 \\ \boldsymbol\mu_2 \end{bmatrix} Y=[y1y2]Y=[y1y2]{\boldsymbol Y}=\begin{bmatrix}{\boldsymbol y}_1 \\ {\boldsymbol y}_2 \end{bmatrix} con una partizione simile di ΣΣ\Sigma in [Σ11Σ21Σ12Σ22][Σ11Σ12Σ21Σ22] \begin{bmatrix} \Sigma_{11} & \Sigma_{12}\\ \Sigma_{21} & \Sigma_{22} …

114 normal-distribution conditional-probability

13

Cosa c'è che non va nel fumetto Frequentists vs. Bayesians di XKCD?

Questo fumetto xkcd (Frequentists vs. Bayesians) prende in giro uno statistico frequentista che ottiene un risultato ovviamente sbagliato. Tuttavia, mi sembra che il suo ragionamento sia effettivamente corretto, nel senso che segue la metodologia frequentista standard. Quindi la mia domanda è "applica correttamente la metodologia frequentista?" Se no: quale sarebbe …

113 bayesian frequentist

4

Correlazione di Pearson o Spearman con dati non normali

Ricevo questa domanda abbastanza frequentemente nel mio lavoro di consulenza statistica, che ho pensato di pubblicarla qui. Ho una risposta, che è pubblicata di seguito, ma ero desideroso di sentire ciò che gli altri hanno da dire. Domanda: se hai due variabili che non sono normalmente distribuite, dovresti usare il …

113 correlation normality-assumption pearson-r spearman-rho

1

Come invertire PCA e ricostruire variabili originali da diversi componenti principali?

L'analisi dei componenti principali (PCA) può essere utilizzata per la riduzione della dimensionalità. Dopo aver eseguito tale riduzione di dimensionalità, come si può ricostruire approssimativamente le variabili / caratteristiche originali da un piccolo numero di componenti principali? In alternativa, come si possono rimuovere o eliminare diversi componenti principali dai dati? …

113 pca dimensionality-reduction svd

19

I paradossi statistici più interessanti

Perché li trovo affascinanti, mi piacerebbe sentire ciò che la gente in questa comunità trova come il paradosso statistico più interessante e perché.

112 paradox