Statistiche e Big Data

3

Qual è la probabilità che n persone di un elenco di m persone si trovino in una selezione casuale di x persone di un elenco di y persone?

Se sto selezionando 232 persone da un pool di 363 persone senza sostituzione, qual è la probabilità che 2 di un elenco di 12 persone specifiche siano in quella selezione? Questo è un sorteggio casuale per una gara ultra in cui c'erano 363 partecipanti per 232 posti. C'è una discussione …

10 combinatorics randomness hypergeometric

1

Effetti casuali incrociati e dati sbilanciati

Sto modellando alcuni dati in cui penso di avere due effetti casuali incrociati. Ma il set di dati non è bilanciato e non sono sicuro di cosa si debba fare per renderlo conto. I miei dati sono una serie di eventi. Un evento si verifica quando un client incontra un …

10 r mixed-model random-effects-model logistic

2

La visualizzazione della dimensione dell'effetto binomiale (BESD) è una rappresentazione fuorviante della dimensione dell'effetto?

È difficile per me accettare che Donald Rubin abbia mai escogitato un vero limone di una tecnica. Tuttavia, questa è la mia percezione del BESD [ 1 , 2 , 3 ]. L'articolo originale di Rosenthal e Rubin (1982) affermava che c'era valore nel mostrare "come rifondere qualsiasi correlazione del …

10 interpretation effect-size

3

Eteroscedasticità del modello lineare

Ho il seguente modello lineare: Per affrontare l'eteroscedasticità dei residui ho provato ad applicare una trasformazione del log sulla variabile dipendente come ma vedo ancora lo stesso effetto fan out sui residui. I valori DV sono relativamente piccoli, quindi l'aggiunta costante +1 prima di prendere il registro probabilmente non è …

10 regression data-transformation linear-model heteroscedasticity

2

Come eseguire la regressione del processo gaussiana quando la funzione viene approssimata cambia nel tempo?

Quali sono le buone strategie per eseguire la regressione del processo gaussiano quando la funzione che sto cercando di approssimare cambia nel tempo? L'approccio ingenuo che mi viene in mente è di usare solo i punti N più recenti per eseguire la regressione. Quali sono le strategie migliori?

10 regression online gaussian-process

3

Come eseguire la previsione in base a dati aggregati su intervalli irregolari?

Sto cercando di prevedere le vendite dei prodotti nel distributore automatico. Il problema è che la macchina viene riempita a intervalli irregolari e ad ogni riempimento possiamo solo registrare le vendite aggregate dall'ultimo riempimento della macchina (cioè non abbiamo dati di vendita giornalieri). Quindi sostanzialmente abbiamo dati per le vendite …

10 time-series forecasting

1

Aiuto per la modellazione SEM (OpenMx, policycor)

Ho un sacco di problemi con un set di dati a cui sto cercando di applicare SEM. Supponiamo che esistano 5 fattori latenti A, B, C, D, E, con indicatori resp. Da A1 a A5 (fattori ordinati), da B1 a B3 (quantitativo), C1, D1, E1 (tutti gli ultimi tre fattori …

10 r modeling multiple-regression sem

1

Oltre i chicchi di Fisher

Per un po ', sembrò che i kernel di Fisher potessero diventare popolari, in quanto sembravano essere un modo per costruire kernel con modelli probabilistici. Tuttavia, raramente li ho visti usati in pratica, e ho una buona autorità che tendono a non funzionare molto bene. Si basano sul calcolo delle …

10 machine-learning probability kernel-trick generative-models

3

Approcci durante l'apprendimento da enormi set di dati?

Fondamentalmente, ci sono due modi comuni per imparare contro enormi set di dati (quando ti trovi di fronte a restrizioni di tempo / spazio): Barare :): utilizzare solo un sottoinsieme "gestibile" per l'allenamento. La perdita di accuratezza può essere trascurabile a causa della legge dei rendimenti decrescenti: le prestazioni predittive …

10 machine-learning large-data model-evaluation train

1

Trattare con set di dati di serie storiche molto grandi

Ho accesso a un set di dati molto grande. I dati provengono da registrazioni MEG di persone che ascoltano brani musicali, di uno dei quattro generi. I dati sono i seguenti: 6 soggetti 3 ripetizioni sperimentali (epoche) 120 prove per epoca 8 secondi di dati per prova a 500Hz (= …

10 machine-learning feature-selection large-data feature-construction

3

Pulizia automatica dei dati

Un problema comune è che ML è la scarsa qualità dei dati: errori nei valori delle caratteristiche, istanze errate, ecc. Ecc. Un modo per affrontare questo problema è di esaminare manualmente i dati e verificare, ma ci sono altre tecniche? (Scommetto che ci sono!) Quali sono i migliori e perché?

10 data-cleaning

1

Gli MFCC sono il metodo ottimale per rappresentare la musica in un sistema di recupero?

Una tecnica di elaborazione del segnale, il Cepstrum di frequenza Mel , viene spesso utilizzata per estrarre informazioni da un brano musicale da utilizzare in un'attività di apprendimento automatico. Questo metodo fornisce uno spettro di potenza a breve termine e i coefficienti vengono utilizzati come input. Nel progettare i sistemi …

10 machine-learning classification signal-processing mfcc

3

Modellazione ripetuta di equazioni strutturali

Devo analizzare un set di dati di dati di riabilitazione clinica. Sono interessato alle relazioni guidate da ipotesi tra "input" quantificato (quantità di terapia) e cambiamenti nello stato di salute. Sebbene il set di dati sia relativamente piccolo (n ~ 70), abbiamo ripetuto dati che riflettono i cambiamenti temporali in …

10 r repeated-measures panel-data sem

3

Perché esiste un valore R ^ 2 (e cosa lo sta determinando) quando lm non ha variazioni nel valore previsto?

Considera il seguente codice R: example <- function(n) { X <- 1:n Y <- rep(1,n) return(lm(Y~X)) } #(2.13.0, i386-pc-mingw32) summary(example(7)) #R^2 = .1963 summary(example(62)) #R^2 = .4529 summary(example(4540)) #R^2 = .7832 summary(example(104))) #R^2 = 0 #I did a search for n 6:10000, the result for R^2 is NaN for #n …

10 r regression

2

Intervallo di confidenza per chi-quadrato

Sto cercando di trovare una soluzione per confrontare due test "chi-quadrato di bontà di adattamento". Più precisamente, voglio confrontare i risultati di due esperimenti indipendenti. In questi esperimenti gli autori hanno usato il chi-quadrato di bontà di adattamento per confrontare ipotesi casuali (frequenze attese) con frequenze osservate. I due esperimenti …

10 r confidence-interval chi-squared