Statistiche e Big Data

2

Ho dati per la popolazione di un numero di pesci diversi, campionati per un periodo di circa 5 anni, ma in un modello molto irregolare. A volte ci sono mesi tra i campioni, a volte ci sono diversi campioni in un mese. Ci sono anche molti 0 conteggi Come gestire …

10 time-series multilevel-analysis unevenly-spaced-time-series

4

Miglioramento della classificazione SVM del diabete

Sto usando SVM per prevedere il diabete. Sto usando il set di dati BRFSS per questo scopo. Il set di dati ha le dimensioni di ed è inclinato. La percentuale di s nella variabile target è mentre s costituisce il restante .11 % 89 %432607×136432607×136432607 \times 136Y11%11%11\%N89%89%89\% Sto usando solo …

10 r classification svm feature-selection e1071

2

Quando utilizzare la distribuzione di Student o Normal nella regressione lineare?

Sto esaminando alcuni problemi, e in alcuni, per testare i coefficienti, a volte vedo persone che usano la distribuzione di Student, e a volte vedo distribuzione normale. Qual è la regola?

10 regression distributions hypothesis-testing

3

Probabilità di un evento che non è misurabile

Sappiamo dalla teoria delle misure che ci sono eventi che non possono essere misurati, cioè che non sono misurabili da Lebesgue. Come chiamiamo un evento con una probabilità che la misura di probabilità non sia definita? Quali tipi di dichiarazioni faremmo riguardo a un simile evento?

10 probability estimation

3

Soglia per il coefficiente di correlazione per indicare la significatività statistica di una correlazione in una matrice di correlazione

Ho calcolato una matrice di correlazione di un set di dati che contiene 455 punti dati, ogni punto dati contenente 14 caratteristiche. Quindi la dimensione della matrice di correlazione è 14 x 14. Mi chiedevo se esiste una soglia per il valore del coefficiente di correlazione che sottolinea che esiste …

10 correlation statistical-significance multiple-comparisons

6

Confronta R-quadrato da due diversi modelli di Foresta casuale

Sto usando il pacchetto randomForest in R per sviluppare un modello di foresta casuale per cercare di spiegare un risultato continuo in un set di dati "ampio" con più predittori che campioni. In particolare, sto inserendo un modello RF che consente alla procedura di selezionare da un insieme di ~ …

10 r machine-learning hypothesis-testing model-selection random-forest

1

Esiste un concetto di dati "sufficienti" per la formazione di modelli statistici?

Lavoro su molti modelli statistici, come Hidden Markov Models e Gaussian Mixture Models. Vedo che l'addestramento di buoni modelli in ciascuno di questi casi richiede una grande quantità (> 20000 frasi per HMM) di dati che vengono presi da ambienti simili all'utilizzo finale. La mia domanda è: Esiste un concetto …

10 modeling hidden-markov-model gaussian-mixture

3

Combinazione di due serie storiche calcolando la media dei punti dati

Vorrei combinare il previsto e il backcast (vale a dire i valori passati previsti) di un set di dati di serie temporali in una serie temporale minimizzando l'errore di previsione al quadrato medio. Supponiamo di avere serie temporali dal 2001 al 2010 con un divario per l'anno 2007. Sono stato …

10 r time-series forecasting data-imputation

1

Come trasformare una funzione in una densità di probabilità mantenendo la forma della funzione?

Ho una serie di funzioni, ognuna delle quali rappresenta presumibilmente la densità di una variabile casuale tra agenti. Ogni funzione ha anche un dominio, che descrive quali valori della variabile casuale sono validi. Ora, se ricordo correttamente le mie classi di statistiche, se prendo l'integrale di una delle funzioni attraverso …

10 distributions probability

2

Esiste una statistica adatta al modello (come AIC o BIC) che può essere utilizzata per confronti assoluti anziché solo relativi?

Non ho molta familiarità con questa letteratura, quindi per favore perdonami se questa è una domanda ovvia. Poiché AIC e BIC dipendono dal massimizzare la probabilità, sembra che possano essere utilizzati solo per effettuare confronti relativi tra un set di modelli che tentano di adattarsi a un determinato set di …

10 model-selection aic bic

2

Condizioni affinché lo stimatore M converga nella media reale

Dati i campioni di una distribuzione gaussiana e lo stimatore M, , quali proprietà su sono sufficienti a garantire ? È essendo strettamente convessa e strettamente crescente sufficienti?μ m = argmin a ∑ ρ ( | X i - a | ) ρ μ m → μ ρX1,...,Xn∼N(μ,σ)X1,...,Xn∼N(μ,σ)X_1,...,X_n \sim N(\mu,\sigma) …

10 estimation

5

Visualizzazione delle combinazioni di 2 lettere

Le risposte a questa domanda su SO hanno restituito un set di circa 125 nomi da una a due lettere: /programming/6979630/what-1-2-letter-object-names-conflict-with-existing -r-oggetti [1] "Ad" "am" "ar" "as" "bc" "bd" "bp" "br" "BR" "bs" "by" "c" "C" [14] "cc" "cd" "ch" "ci" "CJ" "ck" "Cl" "cm" "cn" "cq" "cs" "Cs" "cv" …

10 r data-visualization

4

Rilevamento anomalo online

Voglio elaborare immagini di microscopia segmentate automaticamente per rilevare immagini difettose e / o segmentazioni difettose, come parte di una pipeline di imaging ad alta produttività. C'è una serie di parametri che possono essere calcolati per ogni immagine grezza e segmentazione e che diventano "estremi" quando l'immagine è difettosa. Ad …

10 outliers online

1

È consentito includere il tempo come predittore in modelli misti?

Ho sempre creduto che il tempo non dovesse essere usato come un predittore nelle regressioni (inclusi quelli di gam) perché, quindi, si potrebbe semplicemente "descrivere" la tendenza stessa. Se lo scopo di uno studio è trovare parametri ambientali come la temperatura, ecc. Che spieghino la varianza, diciamo, dell'attività di un …

10 r time-series mixed-model nonlinear-regression

2

Confronto tra serie di serie storiche

Ho tre serie di dati di serie storiche che sto cercando di confrontare. Sono stati presi in 3 periodi separati di circa 12 giorni. Sono la media, il massimo e il minimo dei conteggi in una biblioteca del college durante le settimane delle finali. Ho dovuto significare media, massima e …

10 time-series multiple-comparisons trend