Statistiche e Big Data large-data

1

Test di set di dati di grandi dimensioni per la normalità: come ed è affidabile?

Sto esaminando una parte del mio set di dati contenente 46840 valori doppi che vanno da 1 a 1690 raggruppati in due gruppi. Al fine di analizzare le differenze tra questi gruppi, ho iniziato esaminando la distribuzione dei valori al fine di scegliere il test giusto. Seguendo una guida ai …

12 r normal-distribution normality-assumption large-data

4

Test di ipotesi con Big Data

Come si eseguono test di ipotesi con big data? Ho scritto il seguente script MATLAB per sottolineare la mia confusione. Tutto ciò che fa è generare due serie casuali ed eseguire una semplice regressione lineare di una variabile sull'altra. Esegue questa regressione più volte utilizzando valori casuali diversi e riporta …

12 hypothesis-testing large-data

1

Quando devo smettere di cercare un modello?

Sto cercando un modello tra i prezzi dell'energia e il tempo. Ho il prezzo del MWatt acquistato tra i paesi d'Europa e molti valori sul tempo (file Grib). Ogni ora per un periodo di 5 anni (2011-2015). Prezzo / giorno Questo è al giorno per un anno. Ho questo per …

11 time-series forecasting predictive-models modeling large-data

1

Gestione di insiemi di dati di grandi dimensioni in R - tutorial, best practice, ecc

Sono un Noob R che è tenuto a fare vari tipi di analisi su grandi set di dati in R. Quindi, mentre mi guardo attorno a questo sito e altrove, mi è sembrato che ci siano molti problemi esoterici e meno noti coinvolti qui - come quale pacchetto usare quando, …

11 r large-data

1

La PCA su larga scala è persino possibile?

Il modo classico di analisi dei componenti principali (PCA) è quello di farlo su una matrice di dati di input le cui colonne hanno media zero (quindi il PCA può "massimizzare la varianza"). Ciò può essere ottenuto facilmente centrando le colonne. Tuttavia, quando la matrice di input è sparsa, la …

10 pca algorithms dimensionality-reduction large-data sparse

3

Confronto tra modelli di regressione logistica binaria nidificati quando è grande

Per porre meglio la mia domanda, ho fornito alcuni degli output di un modello a 16 variabili ( fit) e di un modello a 17 variabili ( fit2) di seguito (tutte le variabili predittive in questi modelli sono continue, dove l'unica differenza tra questi modelli è che fitnon contiene la …

10 r regression logistic model-selection large-data

2

Ha senso calcolare gli intervalli di confidenza e verificare le ipotesi quando sono disponibili dati di tutta la popolazione?

Ha senso calcolare gli intervalli di confidenza e verificare le ipotesi quando sono disponibili i dati dell'intera popolazione? A mio avviso, la risposta è no, dal momento che possiamo calcolare accuratamente i veri valori dei parametri. Ma allora, qual è la proporzione massima di dati dalla popolazione originale che ci …

10 hypothesis-testing confidence-interval sample-size large-data population

3

Come visualizzare i dati di serie storiche di grandi dimensioni in modo interattivo?

Mi occupo spesso di dati di serie storiche di dimensioni ragionevoli, 50-200 milioni di raddoppia con i timestamp associati e vorrei visualizzarli dinamicamente. Esiste un software esistente per farlo efficacemente? Che ne dici di librerie e formati di dati? Zoom-cache è un esempio di libreria focalizzata su grandi serie storiche. …

10 time-series data-visualization large-data interactive-visualization

3

Approcci durante l'apprendimento da enormi set di dati?

Fondamentalmente, ci sono due modi comuni per imparare contro enormi set di dati (quando ti trovi di fronte a restrizioni di tempo / spazio): Barare :): utilizzare solo un sottoinsieme "gestibile" per l'allenamento. La perdita di accuratezza può essere trascurabile a causa della legge dei rendimenti decrescenti: le prestazioni predittive …

10 machine-learning large-data model-evaluation train

1

Trattare con set di dati di serie storiche molto grandi

Ho accesso a un set di dati molto grande. I dati provengono da registrazioni MEG di persone che ascoltano brani musicali, di uno dei quattro generi. I dati sono i seguenti: 6 soggetti 3 ripetizioni sperimentali (epoche) 120 prove per epoca 8 secondi di dati per prova a 500Hz (= …

10 machine-learning feature-selection large-data feature-construction

1

K-significa: quante iterazioni in situazioni pratiche?

Non ho esperienza nel settore del data mining o dei big data, quindi mi piacerebbe sentirti condividere qualche esperienza. Le persone eseguono effettivamente k-mean, PAM, CLARA, ecc. Su un set di dati davvero grande? Oppure scelgono a caso un campione da esso? Se prendessero solo un campione del set di …

10 clustering data-mining k-means convergence large-data

2

Regressione del processo gaussiano per set di dati ad alta dimensione

Volevo solo vedere se qualcuno ha esperienza nell'applicazione della regressione del processo gaussiana (GPR) a set di dati ad alta dimensione. Sto esaminando alcuni dei vari metodi GPR sparsi (ad esempio pseudo-input sparsi GPR) per vedere cosa potrebbe funzionare per insiemi di dati ad alta dimensione in cui idealmente la …

10 machine-learning predictive-models large-data gaussian-process

2

Riduzione dimensionale scalabile

Considerando il numero di funzionalità costante, Barnes-Hut t-SNE ha una complessità di , proiezioni casuali e PCA hanno una complessità di che le rende "convenienti" per insiemi di dati molto grandi.O ( n )O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) D'altra parte, i metodi basati sul ridimensionamento multidimensionale hanno una complessità .O ( n2)O(n2)O(n^2) Esistono …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

6

Quali algoritmi di apprendimento automatico possono essere ridimensionati usando hadoop / map-ridurre

Al giorno d'oggi, gli algoritmi di apprendimento automatico scalabile sembrano ronzare. Ogni azienda gestisce a dir poco big data . Esiste un libro di testo che discute quali algoritmi di apprendimento automatico possono essere ridimensionati usando architetture parallele come Map-Reduce e quali algoritmi non possono? O alcuni documenti pertinenti?

9 machine-learning large-data

2

Bootstrap parametrico, semiparametrico e non parametrico per modelli misti

I seguenti innesti sono presi da questo articolo . Sono un novizio di bootstrap e sto cercando di implementare il bootstrap bootstrap parametrico, semiparametrico e non parametrico per il modello misto lineare con R bootpacchetto. Codice R Ecco il mio Rcodice: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + …

9 r mixed-model bootstrap central-limit-theorem stable-distribution time-series hypothesis-testing markov-process r correlation categorical-data association-measure meta-analysis r anova confidence-interval lm r bayesian multilevel-analysis logit regression logistic least-squares eda regression notation distributions random-variable expected-value distributions markov-process hidden-markov-model r variance group-differences microarray r descriptive-statistics machine-learning references r regression r categorical-data random-forest data-transformation data-visualization interactive-visualization binomial beta-distribution time-series forecasting logistic arima beta-regression r time-series seasonality large-data unevenly-spaced-time-series correlation statistical-significance normalization population group-differences demography

Domande taggate «large-data»