Statistiche e Big Data

5

Pensa come un bayesiano, controlla come un frequentatore: cosa significa?

Sto guardando alcune diapositive di lezione su un corso di scienza dei dati che può essere trovato qui: https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf Purtroppo, non riesco a vedere il video di questa lezione e ad un certo punto della diapositiva, il presentatore ha il seguente testo: Alcuni principi chiave Pensa come un bayesiano, controlla …

35 bayesian data-mining frequentist

3

Come selezionare un metodo di clustering? Come convalidare una soluzione di cluster (per giustificare la scelta del metodo)?

Uno dei maggiori problemi con l'analisi dei cluster è che potrebbe capitare di dover trarre conclusioni diverse quando si basano su diversi metodi di clustering utilizzati (inclusi diversi metodi di collegamento nel clustering gerarchico). Mi piacerebbe conoscere la tua opinione su questo - quale metodo sceglierai e come. Si potrebbe …

35 clustering validation model-evaluation hierarchical-clustering

4

In che modo LSTM previene il problema del gradiente evanescente?

LSTM è stato inventato appositamente per evitare il problema del gradiente di sparizione. Si suppone che lo faccia con il Constant Error Carousel (CEC), che sul diagramma sottostante (da Greff et al. ) Corrisponde al loop attorno alla cella . (fonte: deeplearning4j.org ) E capisco che quella parte può essere …

35 neural-networks lstm

3

Linearità della PCA

La PCA è considerata una procedura lineare, tuttavia: P C A ( X) ≠ P C A ( X1) + P C A ( X2) + … + P C A ( Xn) ,PCUN(X)≠PCUN(X1)+PCUN(X2)+...+PCUN(Xn),\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n), dove . Ciò significa che gli autovettori ottenuti dai PCA sulle matrici di dati non …

35 pca linear

2

Aumento gradiente per la regressione lineare: perché non funziona?

Durante l'apprendimento del Gradient Boosting, non ho sentito parlare di vincoli riguardanti le proprietà di un "classificatore debole" che il metodo utilizza per costruire e creare un modello. Tuttavia, non potevo immaginare un'applicazione di un GB che utilizza la regressione lineare, e infatti quando ho eseguito alcuni test, non funziona. …

35 regression machine-learning boosting ensemble gradient

7

Perché l'ipotesi nulla è spesso cercata di essere respinta?

Spero di avere un senso con il titolo. Spesso, l'ipotesi nulla si forma con l'intenzione di respingerla. C'è una ragione per questo o è solo una convenzione?

35 hypothesis-testing

2

Che cos'è la regolarizzazione della rete elastica e come risolve gli svantaggi di Ridge ( ) e Lasso ( )?

La regolarizzazione della rete elastica è sempre preferita a Lasso & Ridge poiché sembra risolvere gli svantaggi di questi metodi? Qual è l'intuizione e qual è la matematica dietro la rete elastica?

35 regression lasso regularization ridge-regression elastic-net

6

Tutti i metodi di simulazione sono una forma di Monte Carlo?

Esiste un metodo di simulazione che non è Monte Carlo? Tutti i metodi di simulazione prevedono la sostituzione di numeri casuali nella funzione per trovare un intervallo di valori per la funzione. Quindi, in sostanza, tutti i metodi di simulazione sono metodi Monte Carlo?

35 monte-carlo

4

Come può una distribuzione avere media e varianza infinite?

Sarebbe apprezzato se si potessero dare i seguenti esempi: Una distribuzione con media infinita e varianza infinita. Una distribuzione con media infinita e varianza finita. Una distribuzione con media finita e varianza infinita. Una distribuzione con media finita e varianza finita. Viene da me vedere questi termini sconosciuti (media infinita, …

35 distributions variance mean

5

Come risolvere il paradosso di Simpson?

Il paradosso di Simpson è un classico rompicapo discusso in corsi introduttivi di statistica in tutto il mondo. Tuttavia, il mio corso era contento di notare semplicemente che esisteva un problema e non forniva una soluzione. Vorrei sapere come risolvere il paradosso. Cioè, di fronte al paradosso di un Simpson, …

35 simpsons-paradox

1

Regressione quantile: quali errori standard?

La summary.rqfunzione della vignetta quantreg offre una moltitudine di scelte per le stime di errore standard dei coefficienti di regressione quantile. Quali sono gli scenari speciali in cui ognuno di questi diventa ottimale / desiderabile? "rango" che produce intervalli di confidenza per i parametri stimati invertendo un test di rango …

35 r standard-error quantile-regression estimators

2

Scopo della funzione di collegamento nel modello lineare generalizzato

Qual è lo scopo della funzione di collegamento come componente del modello lineare generalizzato? Perchè ne abbiamo bisogno? Wikipedia afferma: Può essere conveniente far corrispondere il dominio della funzione di collegamento all'intervallo della media della funzione di distribuzione Qual è il vantaggio di farlo?

35 regression generalized-linear-model link-function irls

11

Perché la generazione di 8 bit casuali è uniforme su (0, 255)?

Sto generando 8 bit casuali (o 0 o 1) e li concateno insieme per formare un numero di 8 bit. Una semplice simulazione Python produce una distribuzione uniforme sul set discreto [0, 255]. Sto cercando di giustificare il motivo per cui questo ha senso nella mia testa. Se confrontassi questo …

35 binomial random-generation uniform

2

Regressione multipla o coefficiente di correlazione parziale? E i rapporti tra i due

Non so nemmeno se questa domanda abbia un senso, ma qual è la differenza tra regressione multipla e correlazione parziale (a parte le ovvie differenze tra correlazione e regressione, che non è ciò a cui sto puntando)? Voglio capire quanto segue: ho due variabili indipendenti ( , ) e una …

35 multiple-regression regression-coefficients partial-correlation

3

PCA e divisione treno / prova

Ho un set di dati per il quale ho più set di etichette binarie. Per ogni set di etichette, alleno un classificatore, valutandolo per convalida incrociata. Voglio ridurre la dimensionalità utilizzando l'analisi dei componenti principali (PCA). La mia domanda è: È possibile eseguire il PCA una volta per l'intero set …

35 machine-learning classification pca cross-validation