Statistiche e Big Data

3

Come posso verificare se il mio raggruppamento di dati binari è significativo

Sto facendo analisi del carrello della spesa il mio set di dati è un insieme di vettori di transazione, con gli articoli che i prodotti vengono acquistati. Quando si applicano i mezzi k sulle transazioni, otterrò sempre dei risultati. Una matrice casuale mostrerebbe probabilmente anche alcuni cluster. C'è un modo …

12 clustering statistical-significance binary-data

4

Quanto dovrebbe essere grande un campione per una determinata tecnica e parametri di stima?

Esiste una regola empirica o addirittura un modo per dire quanto dovrebbe essere grande un campione per stimare un modello con un determinato numero di parametri? Quindi, per esempio, se voglio stimare una regressione dei minimi quadrati con 5 parametri, quanto dovrebbe essere grande il campione? Importa quale tecnica di …

12 sample-size estimation least-squares maximum-likelihood

1

Come trovare i punti campione che hanno rapporti anomali di grandi dimensioni statisticamente significativi tra due valori del punto?

Come applicazione di esempio, considerare le seguenti due proprietà degli utenti Stack Overflow: conteggi delle visualizzazioni di reputazione e profilo . Si prevede che per la maggior parte degli utenti questi due valori saranno proporzionali: gli utenti con un alto rappresentante attirano più attenzione e quindi ottengono più visualizzazioni del …

12 ratio

1

Cosa mostra il grafico di autocorrelazione (panda)?

Sono un principiante e sto cercando di capire cosa mostra un grafico di autocorrelazione. Ho letto diverse spiegazioni da diverse fonti come questa pagina o la relativa pagina Wikipedia tra le altre che non sto citando qui. Ho questo codice molto semplice, in cui ho le date nel mio indice …

12 python autocorrelation pandas

1

Una comprensione laica della differenza tra regolazione della porta posteriore e della porta d'ingresso

Mi riferisco alla regolazione della porta posteriore e alla regolazione della porta anteriore qui : Regolazione back-door : il problema epidemiologico archetipico nelle statistiche è di regolare l'effetto di un confonditore misurato. Il criterio back-door di Pearl generalizza questa idea. Regolazione della porta d'ingresso : se alcune variabili non sono …

12 causality dag

2

Quanto è profonda la connessione tra la funzione softmax in ML e la distribuzione di Boltzmann in termodinamica?

La funzione softmax, comunemente usata nelle reti neurali per convertire i numeri reali in probabilità, ha la stessa funzione della distribuzione di Boltzmann, la distribuzione di probabilità sulle energie per un insieme di particelle in equilibrio termico ad una data temperatura T in termodinamica. Vedo alcune chiare ragioni euristiche per …

12 machine-learning neural-networks softmax

3

Suddivisione dei dati delle serie temporali in set di treni / test / convalida

Qual è il modo migliore per dividere i dati delle serie temporali in set di treni / test / validazione, dove il set di validazione verrebbe utilizzato per l'ottimizzazione dell'iperparametro? Abbiamo 3 anni di dati sulle vendite giornaliere e il nostro piano è di utilizzare il 2015-2016 come dati di …

12 time-series cross-validation validation

2

Perché non usiamo la media aritmetica ponderata invece della media armonica?

Mi chiedo quale sia un valore intrinseco nell'uso della media armonica (ad esempio per calcolare le misure F), al contrario della media aritmetica ponderata nel combinare precisione e richiamo? Sto pensando che la media aritmetica ponderata potrebbe svolgere il ruolo di media armonica o mi sto perdendo qualcosa?

12 machine-learning monte-carlo precision-recall harmonic-mean

2

Scegli la dimensione del filtro, i passi ecc. In una CNN?

Ho seguito le lezioni CS231N di Stanford e sto cercando di avvolgere la mia testa su alcuni problemi delle architetture della CNN. Quello che sto cercando di capire è se ci sono alcune linee guida generali per scegliere la dimensione del filtro di convoluzione e cose come i passi o …

12 neural-networks deep-learning conv-neural-network

4

Quanto è significativa la connessione tra MLE ed entropia incrociata nell'apprendimento profondo?

Capisco che, dato un insieme di osservazioni indipendenti lo stimatore della massima verosimiglianza (o, equivalentemente, il MAP con precedente piano / uniforme) che identifica i parametri \ mathbf {θ} che producono la distribuzione del modello p_ {modello} \ sinistra (\, \ cdot \,; \ mathbf {θ} \ destra) che corrisponderà …

12 maximum-likelihood deep-learning cross-entropy

3

In che modo ACF e PACF identificano l'ordine dei termini MA e AR?

Sono passati più di 2 anni che sto lavorando a diverse serie temporali. Ho letto su molti articoli che ACF viene utilizzato per identificare l'ordine del termine MA e PACF per AR. Esiste una regola del pollice che per MA, il ritardo in cui ACF si interrompe improvvisamente è l'ordine …

12 time-series arima autoregressive moving-average

1

A cosa serve t-SNE, a parte la visualizzazione dei dati?

In quali situazioni dovremmo usare t-SNE (oltre alla visualizzazione dei dati)? T-SNE viene utilizzato per la riduzione della dimensionalità. La risposta a questa domanda suggerisce che t-SNE dovrebbe essere usato solo per la visualizzazione e che non dovremmo usarlo per il clustering. Allora a che serve t-SNE?

12 data-visualization dimensionality-reduction tsne

2

La teoria alla base dell'argomento pesi in R quando si usa lm ()

Dopo un anno alla scuola elementare, la mia comprensione dei "minimi quadrati ponderati" è la seguente: sia y∈Rny∈Rn\mathbf{y} \in \mathbb{R}^n , XX\mathbf{X} una matrice di design n×pn×pn \times p , sia un parametro vector, essere un vettore di errore tale che , dove e \ sigma ^ 2> 0 . …

12 r linear-model weighted-regression

1

Diverse trasformazioni di densità di probabilità dovute al fattore giacobino

In Bishop's Pattern Recognition and Machine Learning ho letto quanto segue, subito dopo l' introduzione della densità di probabilità :p ( x ∈ ( a , b ) ) = ∫Bun'p ( x ) d xp(X∈(un',B))=∫un'Bp(X)dXp(x\in(a,b))=\int_a^bp(x)\textrm{d}x Sotto un cambiamento non lineare di variabile, una densità di probabilità si trasforma in …

12 machine-learning probability

1

XGBoost può gestire i dati mancanti nella fase di previsione

Di recente ho esaminato l'algoritmo XGBoost e ho notato che questo algoritmo può gestire i dati mancanti (senza richiedere imputazione) durante la fase di addestramento. Mi chiedevo se XGboost è in grado di gestire i dati mancanti (senza richiedere imputazione) quando viene utilizzato per prevedere nuove osservazioni o se è …

12 machine-learning missing-data data-imputation xgboost