Statistiche e Big Data

2

Scelta del metodo di collegamento corretto per il clustering gerarchico

Sto eseguendo il clustering gerarchico sui dati raccolti ed elaborati dal dump dei dati reddit su Google BigQuery. Il mio processo è il seguente: Ricevi gli ultimi 1000 post in / r / politica Raccogli tutti i commenti Elaborare i dati e calcolare una n x mmatrice di dati (n: …

33 clustering distance unsupervised-learning hierarchical-clustering

1

Qual è la differenza tra "coefficiente di determinazione" e "errore quadratico medio"?

Per problemi di regressione, ho visto le persone usare il "coefficiente di determinazione" (aka R quadrato) per eseguire la selezione del modello, ad esempio, trovare il coefficiente di penalità appropriato per la regolarizzazione. Tuttavia, è anche comune usare "errore quadrato medio" o "errore quadrato medio radice" come misura dell'accuratezza della …

33 regression r-squared

2

Come si esegue il bootstrap con i dati delle serie temporali?

Di recente ho imparato a utilizzare le tecniche di bootstrap per calcolare errori standard e intervalli di confidenza per gli stimatori. Quello che ho imparato è che se i dati sono IID, puoi trattare i dati del campione come popolazione e fare il campionamento con la sostituzione e questo ti …

33 time-series bootstrap

7

Cos'è la normalità?

In molti diversi metodi statistici esiste un "presupposto della normalità". Che cos'è la "normalità" e come faccio a sapere se esiste la normalità?

33 distributions normality-assumption

10

Perché la somma di due variabili casuali è una convoluzione?

Per molto tempo non ho capito perché la "somma" di due variabili casuali sia la loro convoluzione , mentre una somma della funzione di densità della miscela di e èf( x )f(x)f(x)g( x )g(x)g(x)pf( x ) + ( 1 - p ) g( x )pf(x)+(1−p)g(x)p\,f(x)+(1-p)g(x)n; la somma aritmetica e non …

33 pdf terminology cdf mixture convolution

7

Come interpretare il coefficiente di variazione?

Sto cercando di capire il coefficiente di variazione . Quando provo ad applicarlo ai seguenti due esempi di dati, non riesco a capire come interpretare i risultati. Supponiamo che il campione 1 sia e il campione 2 sia {10, 15, 17, 22, 21, 27} . Qui esempio 2 = campione …

33 descriptive-statistics coefficient-of-variation

1

Se generi una matrice simmetrica casuale, qual è la probabilità che sia definita positiva?

Ho avuto una strana domanda quando stavo sperimentando alcune ottimizzazioni convesse. La domanda è: Supponiamo che io casualmente (diciamo la distribuzione normale standard) generi una matrice simmetrica (ad esempio, io generi una matrice triangolare superiore e riempia la metà inferiore per assicurarmi che sia simmetrica), qual è la probabilità che …

32 probability matrix random-generation eigenvalues random-matrix

3

Perché trovare piccoli effetti in studi di grandi dimensioni indica una tendenza alla pubblicazione?

Diversi articoli metodologici (ad es. Egger et al 1997a, 1997b) discutono i pregiudizi della pubblicazione come rivelati dalle meta-analisi, usando grafici a imbuto come quello qui sotto. Il documento del 1997b prosegue affermando che "se è presente un pregiudizio alla pubblicazione, si prevede che, tra gli studi pubblicati, i più …

32 meta-analysis publication-bias

2

Le reti contraddittorie generative sono state introdotte da Jürgen Schmidhuber?

Ho letto su https://en.wikipedia.org/wiki/Generative_adversarial_networks : [Reti contraddittorie generative] sono state introdotte da Ian Goodfellow et al nel 2014. ma Jurgen Schmidhuber afferma di aver svolto un lavoro simile in precedenza in quella direzione (ad esempio, si è tenuto un dibattito al NIPS 2016 durante il tutorial sulle reti contraddittorie generative: …

32 neural-networks history gan

6

Ci sono esempi di dove il teorema del limite centrale non regge?

Wikipedia dice - Nella teoria della probabilità, il teorema del limite centrale (CLT) stabilisce che, nella maggior parte dei casi , quando vengono aggiunte variabili casuali indipendenti, la loro somma correttamente normalizzata tende verso una distribuzione normale (informalmente una "curva a campana") anche se le variabili originali stesse non lo …

32 probability mathematical-statistics normal-distribution central-limit-theorem

3

Perché il test delle ipotesi di base si concentra sulla media e non sulla mediana?

Nei corsi di statistica di base under-grad, agli studenti viene (di solito?) Insegnato test di ipotesi per la media di una popolazione. Perché l'attenzione è rivolta alla media e non alla mediana? La mia ipotesi è che sia più facile testare la media a causa del teorema del limite centrale, …

32 hypothesis-testing mean inference median

5

Perché alcune persone usano -999 o -9999 per sostituire i valori mancanti?

Ho un set di dati. Ci sono molti valori mancanti. Per alcune colonne, il valore mancante è stato sostituito con -999, ma in altre colonne il valore mancante è stato contrassegnato come "NA". Perché dovremmo usare -999 per sostituire il valore mancante?

32 missing-data

3

Il valore p è una stima puntuale?

Poiché si possono calcolare gli intervalli di confidenza per i valori p e poiché l'opposto della stima dell'intervallo è la stima puntuale: il valore p è una stima puntuale?

32 confidence-interval estimation p-value estimators point-estimation

8

Devo prima insegnare le statistiche bayesiane o frequentiste?

Sto aiutando i miei ragazzi, attualmente al liceo, a capire le statistiche e sto prendendo in considerazione l'idea di iniziare con alcuni semplici esempi senza trascurare alcuni scorci di teoria. Il mio obiettivo sarebbe quello di fornire loro l'approccio più intuitivo ma strumentalmente costruttivo per apprendere le statistiche da zero, …

32 probability hypothesis-testing bayesian frequentist teaching

5

Perché ci sono due ortografie di "eteroschedastico" o "eteroscedastico"?

Vedo spesso sia l'ortografia "eteroschedastica" che "eteroscedastica", e allo stesso modo per "omoscedastico" e "omoschedastico". Non sembra esserci alcuna differenza di significato tra le varianti "c" e "k", semplicemente una differenza ortografica correlata all'etimologia greca della parola. Quali sono le origini delle due distinte ortografie? Un utilizzo è più comune …

32 terminology heteroscedasticity etymology