Statistiche e Big Data

6

Quali algoritmi di machine learning sono utili per stimare quali funzionalità sono più importanti?

Ho dati con un numero minimo di funzionalità che non cambiano e alcune funzionalità aggiuntive che possono cambiare e avere un grande impatto sul risultato. Il mio set di dati è simile al seguente: Le caratteristiche sono A, B, C (sempre presente) e D, E, F, G, H (a volte …

12 machine-learning feature-selection

2

Foresta casuale: cosa succede se so che una variabile è importante

La mia comprensione è che la foresta casuale sceglie casualmente le variabili mtry per costruire ogni albero decisionale. Quindi, se mtry = ncol / 3, ogni variabile verrà utilizzata in media in 1/3 degli alberi. E 2/3 degli alberi non li useranno. Ma cosa succede se so che una singola …

12 r random-forest parameterization

1

AIC per modelli non nidificati: costante di normalizzazione

L'AIC è definito come , dove è lo stimatore della massima verosimiglianza e p è la dimensione dello spazio dei parametri. Per la stima di \ theta , di solito si trascura il fattore costante della densità. Questo è il fattore che non dipende dai parametri, al fine di semplificare …

12 model-selection aic nested-models

6

Una misura robusta (non parametrica) come Coefficiente di variazione - IQR / mediana o alternativa?

Per un dato set di dati, la diffusione viene spesso calcolata come deviazione standard o come IQR (intervallo inter-quartile). Considerando che a standard deviationè normalizzato (punteggi z, ecc.) E quindi può essere utilizzato per confrontare lo spread tra due diverse popolazioni, questo non è il caso dell'IQR poiché i campioni …

12 nonparametric mathematical-statistics standard-deviation descriptive-statistics normalization

3

Esiste una versione a più campioni o un'alternativa al test di Kolmogorov-Smirnov?

Sto confrontando la distribuzione dimensionale degli alberi in sei coppie di trame in cui una trama ha ricevuto un trattamento e l'altra un controllo. Utilizzando un test di Kolmogorov-Smirnov su ciascuna coppia di grafici, trovo che compreso tra e . Esistono metodi appropriati per gestire insieme tutti i replicati, come …

12 nonparametric kolmogorov-smirnov

2

Qual è la distanza tra una miscela gaussiana finita e una gaussiana?

Supponiamo che io abbia una miscela di molti gaussiani finiti con pesi, mezzi e deviazioni standard noti. I mezzi non sono uguali. La deviazione media e standard della miscela può essere calcolata, ovviamente, poiché i momenti sono medie ponderate dei momenti dei componenti. La miscela non è una distribuzione normale, …

12 normal-distribution mixture distance

1

Regressione lineare con misure ripetute in R

Non sono riuscito a capire come eseguire la regressione lineare in R per un disegno di misura ripetuto. In una domanda precedente (ancora senza risposta) mi è stato suggerito di non usare lmma piuttosto di usare modelli misti. Ho usato lmnel modo seguente: lm.velocity_vs_Velocity_response <- lm(Velocity_response~Velocity*Subject, data=mydata) (maggiori dettagli sul …

12 r regression mixed-model repeated-measures

2

Come stimare il terzo quartile di dati aggregati?

Esiste qualche trucco tecnico per determinare il terzo quartile se appartiene a un intervallo aperto che contiene più di un quarto della popolazione (quindi non posso chiudere l'intervallo e utilizzare la formula standard)? modificare Nel caso in cui ho frainteso qualcosa, fornirò un contesto più o meno completo. Ho i …

12 distributions histogram descriptive-statistics

4

La probabilità prevista della regressione logistica può essere interpretata come la fiducia nella classificazione

Possiamo interpretare la probabilità posteriore ottenuta da un classificatore che genera un valore di classe previsto e una probabilità (ad esempio, regressione logistica o Naive Bayes) come una sorta di punteggio di confidenza assegnato a quel valore di classe previsto?

12 probability logistic naive-bayes

3

STL su serie temporali con valori mancanti per il rilevamento di anomalie

Sto cercando di rilevare valori anomali in una serie temporale di dati climatici con alcune osservazioni mancanti. Cercando sul web ho trovato molti approcci disponibili. Di questi, la decomposizione stl sembra allettante, nel senso di rimuovere la tendenza e le componenti stagionali e studiare il resto. La lettura di STL: …

12 r time-series outliers missing-data

4

Selezione del modello PCA tramite AIC (o BIC)

Voglio utilizzare l'Akaike Information Criterion (AIC) per scegliere il numero appropriato di fattori da estrarre in un PCA. L'unico problema è che non sono sicuro di come determinare il numero di parametri. Considera una matrice , dove rappresenta il numero di variabili e il numero di osservazioni, in modo tale …

12 pca model-selection

1

Perché le decomposizioni eigen e svd di una matrice di covarianza basata su dati sparsi producono risultati diversi?

Sto cercando di scomporre una matrice di covarianza basata su un set di dati sparsi / vuoti. Sto notando che la somma di lambda (spiegazione della varianza), calcolata con svd, viene amplificata con dati sempre più vuoti. Senza lacune svde eigenottieni gli stessi risultati. Ciò non sembra accadere con una …

12 r svd eigenvalues

3

Base matematica per data mining e algoritmi di intelligenza artificiale

Potresti darmi qualche chiarimento sul data mining e sugli algoritmi di intelligenza artificiale? Per quale base matematica hanno usato? Potresti darmi un punto di partenza, in matematica, per capire questo tipo di algoritmi?

12 mathematical-statistics references data-mining algorithms artificial-intelligence

2

randomForest sceglie la regressione invece della classificazione

Sto usando il pacchetto randomForest in R e usando i dati dell'iride, la foresta casuale generata è una classificazione ma quando uso un set di dati con circa 700 funzioni (le caratteristiche sono ogni pixel in un'immagine di 28x28 pixel) e la colonna etichetta viene denominata label, il randomForestgenerato è …

12 r random-forest

1

modelli bayesiani gerarchici vs. bayes empirici

Considereresti l'HBM contro l'EB come due alternative in cui gli iperparametri sono "in gioco" per essere campionati / stimati / ecc.? Esiste chiaramente una connessione tra questi due. Considereresti HBM più "completamente bayesiano" di EB? C'è un posto in cui posso vedere quali sono le differenze tra l'essere "completamente bayesiano" …

12 bayesian empirical-bayes