Statistiche e Big Data eda

24

Regole empiriche per statistiche "moderne"

Mi piace il libro di G van Belle sulle Regole empiriche statistiche e, in misura minore, Errori comuni in statistica (e come evitarli) di Phillip I Good e James W. Hardin. Risolvono insidie comuni nell'interpretazione dei risultati di studi sperimentali e osservazionali e forniscono raccomandazioni pratiche per inferenze statistiche o …

85 modeling eda rule-of-thumb

6

C'è qualche buona ragione per usare PCA invece di EFA? Inoltre, PCA può essere un sostituto dell'analisi fattoriale?

In alcune discipline, PCA (analisi dei componenti principali) viene sistematicamente utilizzato senza alcuna giustificazione e PCA ed EFA (analisi dei fattori esplorativi) sono considerati sinonimi. Di recente ho quindi utilizzato PCA per analizzare i risultati di uno studio di validazione della scala (21 articoli su scala Likert a 7 punti, …

73 pca factor-analysis eda

8

Moderno successore dell'analisi dei dati esplorativi di Tukey?

Ho letto il libro di Tukey "Exploratory Data Analysis". Scritto nel 1977, il libro sottolinea i metodi di carta / matita. Esiste un successore più "moderno" che tenga conto del fatto che ora possiamo tracciare istantaneamente grandi insiemi di dati?

52 data-visualization references descriptive-statistics eda

8

Panoramica dei dati grafici (sommario) funzione in R

Sono sicuro di essermi imbattuto in una funzione come questa in un pacchetto R in precedenza, ma dopo un esteso googling non riesco a trovarla da nessuna parte. La funzione a cui sto pensando ha prodotto un riepilogo grafico per una variabile assegnatagli, producendo un output con alcuni grafici (un …

39 r data-visualization descriptive-statistics eda

5

Dati "esplorazione" vs dati "ficcanaso" / "tortura"?

Molte volte mi sono imbattuto in avvertimenti informali contro lo "snooping dei dati" (ecco un esempio divertente ) e penso di avere un'idea intuitiva di ciò che ciò significa e del perché potrebbe essere un problema. D'altra parte, l '"analisi dei dati esplorativi" sembra essere una procedura perfettamente rispettabile in …

30 multiple-comparisons interpretation eda

4

La rivista Science ha approvato il Garden of Forking Pathes Analyses?

L'idea dell'analisi adattativa dei dati è che si modifica il piano di analisi dei dati man mano che si apprendono ulteriori informazioni al riguardo. Nel caso dell'analisi esplorativa dei dati (EDA), questa è generalmente una buona idea (stai spesso cercando modelli imprevisti nei dati), ma per uno studio di conferma, …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

2

Come affrontare l'analisi esplorativa dei dati e il dragaggio dei dati negli studi su piccoli campioni?

L'analisi dei dati esplorativi (EDA) spesso porta ad esplorare altre "tracce" che non appartengono necessariamente alla serie iniziale di ipotesi. Devo affrontare una situazione del genere nel caso di studi con una dimensione del campione limitata e molti dati raccolti attraverso diversi questionari (dati socio-demografici, scale neuropsicologiche o mediche - …

25 multiple-comparisons epidemiology small-sample eda

5

L'analisi dei dati esplorativi è importante quando si esegue la modellazione puramente predittiva?

Quando si costruisce un modello predittivo utilizzando tecniche di apprendimento automatico, che senso ha fare un'analisi esplorativa dei dati (EDA)? Va bene passare direttamente alla generazione delle caratteristiche e alla costruzione dei tuoi modelli? In che modo sono importanti le statistiche descrittive utilizzate in EDA?

23 machine-learning predictive-models descriptive-statistics eda

6

Fallacia del tiratore scelto del Texas nell'analisi dei dati esplorativi

Stavo leggendo questo articolo su Nature in cui alcuni errori sono spiegati nel contesto dell'analisi dei dati. Ho notato che l'errore del tiratore scelto del Texas era particolarmente difficile da evitare: Una trappola cognitiva che attende durante l'analisi dei dati è illustrata dalla favola del tiratore scelto del Texas: un …

23 eda fallacy

5

Cosa imparare dopo Casella e Berger?

Sono una studentessa di matematica pura con poca esperienza in matematica applicata. Dall'autunno scorso ho preso lezioni sul libro di Casella & Berger e ho finito centinaia (230+) di pagine di problemi di esercizio nel libro. In questo momento sono al capitolo 10. Tuttavia, dal momento che non mi sono …

22 distributions references eda

5

Come tenere sotto controllo le analisi esplorative di grandi set di dati?

Quando inizio un'analisi esplorativa su un set di dati di grandi dimensioni (molti campioni, molte variabili), mi trovo spesso con centinaia di variabili derivate e tonnellate di grafici diversi e nessun modo reale per tenere traccia di ciò che sta andando dove. Il codice finisce come spaghetti, perché non c'è …

22 eda project-management

1

Che cos'è "effetto ferro di cavallo" e / o "effetto arco" nell'analisi PCA / corrispondenza?

Esistono molte tecniche nelle statistiche ecologiche per l'analisi dei dati esplorativi di dati multidimensionali. Queste sono chiamate tecniche di 'ordinazione'. Molti sono uguali o strettamente correlati a tecniche comuni altrove nelle statistiche. Forse l'esempio prototipico sarebbe l'analisi dei componenti principali (PCA). Gli ecologi potrebbero usare la PCA e le relative …

20 pca eda ecology correspondence-analysis

8

Idee per il software "notebook da laboratorio"?

Quindi questa è una scelta strana, anche se in realtà penso che sia una strana misura per qualsiasi sito, quindi ho pensato di provarlo qui, tra i miei fratelli scricchiolanti di dati. Sono venuto all'epidemiologia e alla biostatistica dalla biologia, e sicuramente ho ancora alcune abitudini da quel campo. Uno …

20 references software eda

2

Come eseguire l'analisi dei dati esplorativi per scegliere l'algoritmo di apprendimento automatico appropriato

Stiamo studiando l'apprendimento automatico tramite l'apprendimento automatico: una prospettiva probabilistica (Kevin Murphy). Mentre il testo spiega le basi teoriche di ciascun algoritmo, raramente dice in quale caso quale algoritmo è migliore, e quando lo fa, non dice come dire in quale caso mi trovo. Ad esempio, per la scelta del …

16 machine-learning eda

5

Un buon modo per mostrare graficamente molti dati

Sto lavorando a un progetto che coinvolge 14 variabili e 345.000 osservazioni per i dati sulle abitazioni (cose come anno, metratura, prezzo venduto, contea di residenza, ecc.). Mi preoccupo di cercare buone tecniche grafiche e librerie R che contengano belle tecniche di disegno. Sto già vedendo cosa funzionerà bene in …

15 r data-visualization large-data eda

Domande taggate «eda»