Statistiche e Big Data

1

Perché LKJcorr è un buon precedente per la matrice di correlazione?

Sto leggendo il capitolo 13 "Adventures in Covariance" nel ( superbo ) libro Statistical Rethinking di Richard McElreath dove presenta il seguente modello gerarchico: ( Rè una matrice di correlazione) L'autore spiega che LKJcorrè un precedente debolmente informativo che funziona come un precedente regolarizzante per la matrice di correlazione. Ma …

11 regression self-study correlation prior hierarchical-bayesian

3

Problemi con la codifica one-hot vs. codifica fittizia

Sono consapevole del fatto che le variabili categoriali con livelli k dovrebbero essere codificate con variabili k-1 nella codifica fittizia (analogamente per le variabili categoriali multivalore). Mi chiedevo quanto fosse un problema una codifica one-hot (ovvero usando invece le variabili k) rispetto alla codifica fittizia per diversi metodi di regressione, …

11 regression multiple-regression categorical-data many-categories

2

Test di Kolmogorov – Smirnov: il valore p e la statistica del test k diminuiscono all'aumentare della dimensione del campione

Perché i valori di p e le statistiche di ks-test diminuiscono con l'aumentare della dimensione del campione? Prendi questo codice Python come esempio: import numpy as np from scipy.stats import norm, ks_2samp np.random.seed(0) for n in [10, 100, 1000, 10000, 100000, 1000000]: x = norm(0, 4).rvs(n) y = norm(0, 4.1).rvs(n) …

11 python p-value goodness-of-fit intuition scipy

2

Pro e contro del bootstrap

Ho appena appreso il concetto di bootstrap e mi è venuta in mente una domanda ingenua: se possiamo sempre generare numerosi campioni bootstrap dei nostri dati, perché preoccuparsi di ottenere più dati "reali"? Penso di avere una spiegazione, per favore dimmi se sono corretto: penso che il processo di bootstrap …

11 variance bootstrap bias

3

CIFAR-10 Impossibile ottenere una precisione superiore al 60%, Keras con backend Tensorflow [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso l'anno scorso . L'allenamento dopo 15 epoche sul set di dati CIFAR-10 sembra che la perdita di validazione non diminuisca più, …

11 neural-networks conv-neural-network keras

2

Possiamo accettare il null nei test di non inferiorità?

In un normale test t di mezzi, usando i soliti metodi di verifica delle ipotesi, rifiutiamo il null o non riusciamo a rifiutare il null ma non accettiamo mai il null. Uno dei motivi è che se avessimo più prove, la stessa dimensione dell'effetto diventerebbe significativa. Ma cosa succede in …

11 hypothesis-testing tost non-inferiority

1

Dovrei scegliere il regressore o il classificatore della foresta casuale?

Adatto un set di dati con una classe di destinazione binaria dalla foresta casuale. In Python, posso farlo con randomforestclassifier o randomforestregressor. Posso ottenere la classificazione direttamente da randomforestclassifier oppure eseguire prima randomforestregressor e recuperare un set di punteggi stimati (valore continuo). Quindi posso trovare un valore di soglia per …

11 python random-forest

3

Perché lo stimatore OLS del coefficiente AR (1) è distorto?

Sto cercando di capire perché OLS fornisce uno stimatore distorto di un processo AR (1). Prendi in considerazione In questo modello, viene violata una rigorosa esogeneità, ovvero e sono correlati ma e non sono correlati. Ma se questo è vero, perché non vale la seguente derivazione semplice? ytεtyt-1εtplim βytεt= α …

11 time-series least-squares bias autoregressive estimators

3

Usa Holt-Winters o ARIMA?

La mia domanda riguarda la differenza concettuale tra Holt-Winters e ARIMA. A quanto ho capito, Holt-Winters è un caso speciale di ARIMA. Ma quando è preferito un algoritmo rispetto all'altro? Forse Holt-Winters è incrementale e quindi funge da algoritmo inline (più veloce)? In attesa di alcune informazioni qui.

11 time-series arima exponential-smoothing

3

Quali sono i vantaggi della regressione graduale?

Sto sperimentando una regressione graduale per motivi di diversità nel mio approccio al problema. Quindi, ho 2 domande: Quali sono i vantaggi della regressione graduale? Quali sono i suoi punti di forza specifici? Cosa ne pensi dell'approccio ibrido, in cui usi la regressione graduale per selezionare le funzionalità e quindi …

11 regression feature-selection stepwise-regression

2

Gestire parole sconosciute nelle attività di modellazione del linguaggio usando LSTM

Per un'attività di elaborazione del linguaggio naturale (NLP) si usano spesso i vettori word2vec come incorporamento per le parole. Tuttavia, potrebbero esserci molte parole sconosciute che non vengono catturate dai vettori word2vec semplicemente perché queste parole non vengono visualizzate abbastanza spesso nei dati di addestramento (molte implementazioni usano un conteggio …

11 natural-language word2vec lstm word-embeddings

1

Ha senso utilizzare la selezione delle funzionalità prima di Random Forest?

Tutto è nel titolo, ha senso usare la selezione delle caratteristiche prima di usare la foresta casuale?

11 machine-learning feature-selection random-forest

1

Adattare un GLMM binomiale (glmer) a una variabile di risposta che è una proporzione o una frazione

Spero che qualcuno possa aiutare con quella che penso sia una domanda relativamente semplice, e penso di conoscere la risposta, ma senza conferma è diventata qualcosa di cui non posso essere certo. Ho alcuni dati di conteggio come variabile di risposta e voglio misurare come cambia quella variabile con la …

11 r binomial proportion glmm lme4-nlme

4

Come visualizzare due T-test indipendenti?

Quali sono i modi più accettati per visualizzare i risultati di un test t indipendente a due campioni? Una tabella numerica è più spesso utilizzata o una sorta di trama? L'obiettivo è che un osservatore occasionale guardi la figura e veda immediatamente che provengono probabilmente da due diverse popolazioni.

11 data-visualization t-test

1

Domanda sulla sottrazione media sul treno / valido / set di test

Sto eseguendo la preelaborazione dei dati e dopo costruirò un convoglio sui miei dati. La mia domanda è: supponiamo di avere un set di dati totale con 100 immagini, stavo calcolando la media per ciascuna delle 100 immagini e quindi sottratto da ciascuna delle immagini, quindi diviso in treno e …

11 machine-learning cross-validation data-preprocessing