Statistiche e Big Data

2

Perché è sbagliato interrompere un test A / B prima che venga raggiunta la dimensione ottimale del campione?

Sono incaricato di presentare i risultati dei test A / B (eseguiti su varianti di siti Web) presso la mia azienda. Eseguiamo il test per un mese e quindi controlliamo i valori p a intervalli regolari fino a raggiungere la significatività (o abbandoniamo se la significatività non viene raggiunta dopo …

13 hypothesis-testing statistical-significance bias ab-test optimal-stopping

1

In generale, fare inferenza è più difficile che fare previsioni?

La mia domanda viene dal seguente fatto. Ho letto post, blog, lezioni e libri sull'apprendimento automatico. La mia impressione è che i professionisti dell'apprendimento automatico sembrano essere indifferenti a molte cose a cui tengono gli statistici / econometrici. In particolare, i professionisti dell'apprendimento automatico enfatizzano l'accuratezza della previsione sull'inferenza. Uno …

13 machine-learning self-study inference

5

Il costo dell'entropia incrociata ha senso nel contesto della regressione?

Il costo dell'entropia incrociata ha senso nel contesto della regressione (al contrario della classificazione)? In tal caso, potresti dare un esempio di giocattolo attraverso TensorFlow? In caso contrario, perché no? Stavo leggendo l'entropia incrociata in Neural Networks e Deep Learning di Michael Nielsen e sembra qualcosa che potrebbe essere naturalmente …

13 regression entropy tensorflow cross-entropy

2

Perché la regressione logistica produce modelli ben calibrati?

Comprendo che uno dei motivi per cui la regressione logistica viene spesso utilizzato per prevedere le percentuali di clic sul Web è che produce modelli ben calibrati. C'è una buona spiegazione matematica per questo?

13 regression logistic

4

Perché la corrispondenza del punteggio di propensione funziona per l'inferenza causale?

La corrispondenza del punteggio di propensione viene utilizzata per fare inferenze causali negli studi osservazionali (vedi il documento Rosenbaum / Rubin ). Qual è la semplice intuizione dietro perché funziona? In altre parole, perché se ci assicuriamo che la probabilità di partecipare al trattamento sia uguale per i due gruppi, …

13 causality regression-strategies propensity-scores confounding

1

Come correggere la non convergenza in LogisticRegressionCV

Sto usando scikit-learn per eseguire una regressione logistica con crossvalidation su un set di dati (circa 14 parametri con> 7000 osservazioni normalizzate). Ho anche un classificatore di destinazione che ha un valore di 1 o 0. Il problema che ho è che, indipendentemente dal solutore utilizzato, continuo a ricevere avvisi …

13 logistic cross-validation scikit-learn

2

Come calcolare il valore atteso di una distribuzione normale standard?

Vorrei imparare a calcolare il valore atteso di una variabile casuale continua. Sembra che il valore atteso è in cui è la funzione di densità di probabilità di .E[X]=∫∞−∞xf(x)dxE[X]=∫−∞∞xf(x)dxE[X] = \int_{-\infty}^{\infty} xf(x)\mathrm{d}xf(x)f(x)f(x)XXX Supponiamo che la funzione di densità di probabilità di sia che è la densità del distribuzione normale standard.XXXf(x)=12π−−√e−x22f(x)=12πe−x22f(x) …

13 random-variable pdf expected-value

4

Un esempio di stimatore coerente e distorto?

Davvero perplesso su questo. Vorrei davvero un esempio o una situazione in cui uno stimatore B sarebbe sia coerente che parziale.

13 mathematical-statistics estimation econometrics

4

Come devo verificare l'assunzione di linearità al logit per le variabili indipendenti continue nell'analisi della regressione logistica?

Sono confuso con l'assunzione di linearità al logit per variabili predittive continue nell'analisi della regressione logistica. Dobbiamo verificare la relazione lineare durante lo screening di potenziali predittori utilizzando l'analisi di regressione logistica univariabile? Nel mio caso, sto usando l'analisi di regressione logistica multipla per identificare i fattori associati allo stato …

13 regression logistic assumptions splines regression-strategies

1

Come funziona la retro-propagazione in una rete neurale siamese?

Ho studiato l'architettura della rete neurale siamese introdotta da Yann LeCun e dai suoi colleghi nel 1994 per il riconoscimento delle firme ( "Verifica della firma usando una rete neurale siamese di ritardo" .pdf , NIPS 1994) Ho capito l'idea generale di questa architettura, ma non riesco davvero a capire …

13 neural-networks

1

Ottimizzazione dell'iperparametro nella regressione del processo gaussiana

Sto cercando di ottimizzare gli iperparametri dell'algoritmo di regressione del processo gaussiano che ho implementato. Voglio semplicemente massimizzare la verosimiglianza marginale data dalla formula dove K è la matrice di covarianza con il elementi K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac …

13 regression optimization gaussian-process hyperparameter

2

Che cos'è il restringimento?

La parola restringimento viene lanciata molto in alcuni ambienti. Ma cos'è il restringimento, non sembra esserci una definizione chiara. Se ho una serie temporale (o una raccolta di osservazioni di un certo processo) quali sono i diversi modi in cui posso misurare un qualche tipo di contrazione empirica sulla serie? …

13 estimation predictive-models shrinkage

3

quando è variabile continua

So che per la variabile continua .P[X=x]=0P[X=x]=0P[X=x]=0 Ma non riesco a visualizzare che se , c'è un numero infinito di possibili 's. E anche perché le loro probabilità diventano infinitamente piccole?xP[X=x]=0P[X=x]=0P[X=x]=0xxx

13 probability self-study references continuous-data

3

Dimensione del campione necessaria per stimare la probabilità di "successo" nella sperimentazione di Bernoulli

Supponiamo che un gioco offra un evento che, una volta completato, dà una ricompensa o non dà nulla. L'esatto meccanismo per determinare se viene data la ricompensa è sconosciuto, ma suppongo che venga utilizzato un generatore di numeri casuali e se il risultato è maggiore di un valore codificato, si …

13 logistic mathematical-statistics sample-size power-analysis bernoulli-distribution

1

Collegamenti tra (d-prime) e AUC (Area Under the ROC Curve); i presupposti di base

Nell'apprendimento automatico possiamo usare l' area sotto la curva ROC (spesso abbreviata AUC o AUROC) per riassumere quanto bene un sistema può discriminare tra due categorie. Nella teoria del rilevamento del segnale spesso il (indice di sensibilità) viene utilizzato per uno scopo simile. I due sono strettamente collegati e credo …

13 machine-learning roc auc signal-detection d-prime