Statistiche e Big Data

1

Perché l'utilizzo del metodo di Newton per l'ottimizzazione della regressione logistica si chiama minimi quadrati iterativi ripesati?

Perché l'utilizzo del metodo di Newton per l'ottimizzazione della regressione logistica si chiama minimi quadrati iterativi ripesati? Non mi sembra chiaro perché la perdita logistica e la perdita dei minimi quadrati sono cose completamente diverse.

18 logistic generalized-linear-model optimization irls fisher-scoring

2

I campioni di allenamento estratti casualmente per le reti neurali di addestramento mini-batch devono essere estratti senza sostituzione?

Definiamo un'epoca come aver esaminato tutti i campioni di addestramento disponibili e le dimensioni del mini-lotto come il numero di campioni su cui calcoliamo la media per trovare gli aggiornamenti ai pesi / errori necessari per scendere il gradiente. La mia domanda è se dovremmo trarre senza sostituzione dall'insieme degli …

18 machine-learning neural-networks optimization deep-learning

2

Se il kernel di Epanechnikov è teoricamente ottimale quando si esegue la stima della densità del kernel, perché non è più comunemente usato?

Ho letto (per esempio, qui ) che il kernel Epanechnikov è ottimale, almeno in senso teorico, quando si esegue la stima della densità del kernel. Se questo è vero, allora perché il gaussiano si presenta così frequentemente come il kernel predefinito, o in molti casi l'unico kernel, nelle librerie di …

18 nonparametric kernel-smoothing

3

Come gestire la variabile categoriale ordinale come variabile indipendente

Sto usando un modello logit. La mia variabile dipendente è binaria. Tuttavia ho una variabile indipendente che è categorica e contiene le risposte: 1.very good, 2.good, 3.average, 4.poor and 5.very poor. Quindi, è ordinale ("quantitativo categorico"). Non sono sicuro di come gestirlo nel modello. Sto usando gretl. [Nota da @ttnphns: …

18 regression logistic ordinal-data predictor

2

Vantaggi dell'ottimizzazione dello sciame di particelle rispetto all'ottimizzazione bayesiana per l'ottimizzazione dell'iperparametro?

Esiste una sostanziale ricerca contemporanea sull'ottimizzazione bayesiana (1) per la messa a punto di iperparametri ML. La motivazione principale qui è che è richiesto un numero minimo di punti dati per fare scelte informate su quali punti valgono la pena provare (le chiamate di funzione obiettive sono costose, quindi fare …

18 hyperparameter bayesian-optimization optunity

2

come fare una funzione di ricompensa nell'apprendimento di rinforzo

Mentre studiavo l'apprendimento per rinforzo, mi sono imbattuto in molte forme della funzione di ricompensa: , R ( s , a , s ′ ) e persino una funzione di ricompensa che dipende solo dallo stato attuale. Detto questo, mi sono reso conto che non è molto facile "creare" o …

18 machine-learning reinforcement-learning

2

La discesa del gradiente può essere applicata a funzioni non convesse?

Sto solo imparando l'ottimizzazione e ho difficoltà a capire la differenza tra ottimizzazione convessa e non convessa. Secondo la mia comprensione, una funzione convessa è quella in cui "il segmento di linea tra due punti qualsiasi sul grafico della funzione si trova sopra o sul grafico". In questo caso, è …

18 optimization

1

I dati devono essere centrati + ridimensionati prima di applicare t-SNE?

Alcune funzionalità dei miei dati hanno valori elevati, mentre altre hanno valori molto più piccoli. È necessario centrare + ridimensionare i dati prima di applicare t-SNE per evitare distorsioni verso valori più grandi? Uso l'implementazione sklearn.manifold.TSNE di Python con la metrica di distanza euclidea predefinita.

18 normalization dimensionality-reduction high-dimensional tsne

2

Dimensione dell'effetto al test di rango firmato Wilcoxon?

Alcuni autori (ad es. Pallant, 2007, p. 225; vedi immagine sotto) suggeriscono di calcolare la dimensione dell'effetto per un test di rango firmato da Wilcoxon dividendo la statistica del test per la radice quadrata del numero di osservazioni: r =ZnX+ ny√r=ZnX+nyr = \frac{Z}{\sqrt{n_x + n_y}} Zè l'output statistico del test …

18 effect-size wilcoxon-signed-rank

4

Qual è la differenza tra ed ?

18 conditional-expectation notation definition

2

REML o ML per confrontare due modelli di effetti misti con diversi effetti fissi, ma con lo stesso effetto casuale?

Sfondo: Nota: il mio set di dati e il codice r sono inclusi sotto il testo Vorrei usare AIC per confrontare due modelli di effetti misti generati usando il pacchetto lme4 in R. Ogni modello ha un effetto fisso e un effetto casuale. L'effetto fisso differisce tra i modelli, ma …

18 maximum-likelihood random-effects-model fixed-effects-model mixed-model lme4-nlme

5

Ha

Mi sono confuso cercando di capire se un valore rrr -squared ha anche un valore ppp . A quanto mi risulta, in correlazione lineare con un insieme di punti di dati rrr può avere un valore compreso tra −1−1-1 a 111 e questo valore, qualunque essa sia, può avere un …

18 statistical-significance p-value r-squared

5

Variabilità nei risultati di cv.glmnet

Sto usando cv.glmnetper trovare predittori. L'impostazione che utilizzo è la seguente: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Per assicurarsi che i risultati sono riproducibili io set.seed(1). I risultati sono molto variabili. Ho eseguito esattamente lo stesso codice 100 per vedere quanto variabili fossero i risultati. Nelle corse 98/100 era sempre stato …

18 r cross-validation feature-selection glmnet

5

Qual è il motivo per cui la trasformazione del registro viene utilizzata con le distribuzioni distorte?

L'ho sentito una volta la trasformazione del log è la più popolare per le distribuzioni distorte a destra nella regressione lineare o regressione quantile Vorrei sapere c'è qualche motivo alla base di questa affermazione? Perché la trasformazione del registro è adatta per una distribuzione distorta? Che ne dici di una …

18 regression distributions data-transformation skewness

3

Imputazione prima o dopo la divisione in treno e prova?

Ho un set di dati con N ~ 5000 e circa 1/2 mancante su almeno una variabile importante. Il principale metodo analitico saranno i rischi proporzionali di Cox. Ho intenzione di utilizzare l'imputazione multipla. Mi dividerò anche in un treno e un set di test. Devo dividere i dati e …

18 cross-validation survival multiple-imputation train