Statistiche e Big Data

3

Valuta l'intervallo definito di distribuzione normale

So che manca una formula facile da gestire per il CDF di una distribuzione normale, a causa della complicata funzione di errore in esso. Tuttavia, mi chiedo se esiste una buona formula per N(c−≤x<c+|μ,σ2)N(c−≤x<c+|μ,σ2)N(c_{-} \leq x < c_{+}| \mu, \sigma^2) . O quale potrebbe essere l'approssimazione dello "stato dell'arte" per …

18 normal-distribution approximation

7

In che modo studiare "processi stocastici" mi aiuterà come statistico?

Vorrei decidere se seguire un corso chiamato "INTRODUZIONE AI PROCESSI STOCASTICI" che si terrà il prossimo semestre nella mia Università. Ho chiesto al docente come studiare un corso del genere mi avrebbe aiutato come statistico, ha detto che, poiché proviene dalla probabilità, conosce ben poco delle statistiche e non sa …

18 probability stochastic-processes

1

Ho calcolato correttamente questi rapporti di probabilità?

Sono l'autore del pacchetto ez per R e sto lavorando ad un aggiornamento per includere il calcolo automatico dei rapporti di verosimiglianza (LR) nell'output degli ANOVA. L'idea è di fornire un LR per ogni effetto analogo al test di quell'effetto che l'ANOVA ottiene. Ad esempio, l'LR per l'effetto principale rappresenta …

18 r anova likelihood-ratio

2

Come si confronta la potenza di una regressione logistica e un test t?

Il potere di una regressione logistica e un test t equivalgono? In tal caso, dovrebbero essere "equivalenti di densità dei dati" con cui intendo che lo stesso numero di osservazioni sottostanti produce la stessa potenza dato un alfa fisso di 0,05. Considera due casi: [Il test t parametrico]: vengono eseguiti …

18 logistic t-test power power-analysis

4

Differenza tra istogramma e pdf?

Se vogliamo vedere visibilmente la distribuzione di dati continui, quale tra istogramma e pdf dovrebbe essere usato? Quali sono le differenze, non per quanto riguarda la formula, tra istogramma e pdf?

18 distributions pdf histogram

10

Strategia per la modifica di file con valori separati da virgola (CSV)

Quando lavoro su progetti di analisi dei dati, spesso conservo i dati in file di dati delimitati da virgole o da tabulazioni (CSV, TSV). Mentre i dati spesso appartengono a un sistema di gestione di database dedicato. Per molte delle mie applicazioni, questo sarebbe esagerare. Posso modificare i file CSV …

18 project-management

6

Buona introduzione a diversi tipi di entropia

Sto cercando un libro o una risorsa online che spieghi diversi tipi di entropia come Entropia campione e Entropia di Shannon e i loro vantaggi e svantaggi. Qualcuno può indicarmi la giusta direzione?

18 references entropy

3

Come posso stimare gli errori standard dei coefficienti quando si usa la regressione della cresta?

Sto usando la regressione della cresta su dati altamente multicollineari. Usando OLS ottengo grandi errori standard sui coefficienti dovuti alla multicollinearità. So che la regressione della cresta è un modo per affrontare questo problema, ma in tutte le implementazioni della regressione della cresta che ho visto, non ci sono errori …

18 standard-error ridge-regression

8

Algoritmi per calcolare la mediana corrente?

Su finestre di dimensioni inferiori, l' n log nordinamento potrebbe funzionare. Ci sono algoritmi migliori per raggiungere questo obiettivo?

18 algorithms median

2

Quando MCMC è diventato un luogo comune?

Qualcuno sa in quale anno MCMC è diventato un luogo comune (cioè un metodo popolare per l'inferenza bayesiana)? Un collegamento al numero di articoli MCMC (journal) pubblicati nel tempo sarebbe particolarmente utile.

18 bayesian mcmc history

5

Perché non facciamo uso della distribuzione t per costruire un intervallo di confidenza per una proporzione?

Per calcolare l'intervallo di confidenza (CI) per la media con deviazione standard della popolazione sconosciuta (sd) stimiamo la deviazione standard della popolazione impiegando la distribuzione t. In particolare, CI=X¯±Z95%σX¯CI=X¯±Z95%σX¯CI=\bar{X} \pm Z_{95\% }\sigma_{\bar X} dove σX¯=σn√σX¯=σn\sigma_{\bar X} = \frac{\sigma}{\sqrt n} . Ma poiché non abbiamo una stima puntuale della deviazione standard …

18 normal-distribution confidence-interval sampling t-distribution

4

Disegna numeri interi in modo indipendente e uniforme a caso da 1 a

Vorrei disegnare numeri interi da 1 a qualche specifica lanciando un certo numero di dadi a sei facce giusti (d6). Una buona risposta spiegherà perché il suo metodo produce numeri interi uniformi e indipendenti .NNN Come esempio illustrativo, sarebbe utile spiegare come funziona una soluzione per il caso di .N …

18 probability random-generation uniform dice

2

I metodi di ricerca di linea sono utilizzati nell'apprendimento profondo? Perchè no?

Molti tutorial online parlano della discesa del gradiente e quasi tutti usano un passo fisso (tasso di apprendimento ). Perché la ricerca della linea non viene utilizzata (come la ricerca della riga di backtracking o la ricerca della riga esatta)?αα\alpha

18 machine-learning neural-networks optimization deep-learning

2

Perché la famiglia esponenziale non include tutte le distribuzioni?

Sto leggendo il libro: Bishop, Pattern Recognition and Machine Learning (2006) che definisce la famiglia esponenziale come distribuzioni del modulo (Eq. 2.194): p(x|η)=h(x)g(η)exp{ηTu(x)}p(x|η)=h(x)g(η)exp⁡{ηTu(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\} Ma non vedo restrizioni poste su o \ mathbf u (\ mathbf x) …

18 mathematical-statistics exponential-family

3

In che modo la dimensione del lotto influenza la convergenza di SGD e perché?

Ho visto conclusioni simili da molte discussioni, che con l'aumentare delle dimensioni del minibatch la convergenza di SGD diventa effettivamente più difficile / peggio, ad esempio questo documento e questa risposta . Ho anche sentito parlare di persone che usano trucchi come piccoli tassi di apprendimento o dimensioni dei lotti …

18 machine-learning neural-networks optimization gradient-descent sgd