Statistiche e Big Data large-data

12

Come devo trasformare i dati non negativi inclusi gli zeri?

Se ho dati positivi molto distorti, prendo spesso i registri. Ma cosa dovrei fare con dati non negativi molto inclinati che includono zeri? Ho visto due trasformazioni utilizzate: ceppo( x + 1 )log⁡(x+1)\log(x+1) che ha la caratteristica ordinata che 0 mappa a 0. ceppo( x + c )log⁡(x+c)\log(x+c) dove c …

191 data-transformation large-data

14

I set di dati di grandi dimensioni sono inappropriati per il test delle ipotesi?

In un recente articolo di Amstat News , gli autori (Mark van der Laan e Sherri Rose) hanno dichiarato che "Sappiamo che per campioni sufficientemente grandi, ogni studio, compresi quelli in cui è vera l'ipotesi nulla di nessun effetto, dichiarerà un effetto statisticamente significativo ". Beh, io per primo non …

129 hypothesis-testing sample-size dataset large-data

5

Quali competenze sono necessarie per eseguire analisi statistiche su larga scala?

Molti lavori statistici richiedono esperienza con dati su larga scala. Quali sono le competenze statistiche e computazionali che sarebbero necessarie per lavorare con grandi set di dati. Ad esempio, che ne dici di costruire modelli di regressione dati un set di dati con 10 milioni di campioni?

107 regression machine-learning multivariate-analysis large-data

7

Sfide tra industria e Kaggle. Raccogliere più osservazioni e avere accesso a più variabili è più importante della modellazione fantasia?

Spero che il titolo sia autoesplicativo. In Kaggle, la maggior parte dei vincitori usa lo stacking con a volte centinaia di modelli base, per spremere un po 'di% in più di MSE, precisione ... In generale, nella tua esperienza, quanto è importante la modellazione fantasia come lo stacking rispetto alla …

56 large-data stacking collecting-data kaggle

8

Il campionamento è rilevante ai tempi dei "big data"?

O più così "sarà"? I Big Data rendono le statistiche e le conoscenze pertinenti ancora più importanti, ma sembrano sottovalutare la teoria del campionamento. Ho visto questo clamore intorno a "Big Data" e non posso fare a meno di chiedermi che "perché" dovrei analizzare tutto ? Non c'era un motivo …

54 sampling data-mining large-data

10

Qual è un buon algoritmo per stimare la mediana di un enorme set di dati read-once?

Sto cercando un buon algoritmo (che significa calcolo minimo, requisiti minimi di archiviazione) per stimare la mediana di un set di dati che è troppo grande per essere archiviato, in modo tale che ogni valore possa essere letto una sola volta (a meno che tu non lo memorizzi esplicitamente). Non …

48 algorithms median large-data

10

Che cosa sono esattamente i Big Data?

Mi è stato chiesto in diverse occasioni la domanda: Cosa sono i Big Data? Sia dagli studenti che dai miei parenti che stanno raccogliendo il buzz intorno alle statistiche e alla ML. Ho trovato questo post CV . E sento di essere d'accordo con l'unica risposta lì. Anche la pagina …

44 large-data

2

Come trarre conclusioni valide dai "big data"?

I "big data" sono ovunque nei media. Tutti dicono che i "big data" sono la cosa più importante per il 2012, ad esempio il sondaggio di KDNuggets su argomenti importanti per il 2012 . Tuttavia, ho profonde preoccupazioni qui. Con i big data, tutti sembrano essere felici solo per ottenere …

40 data-mining dataset large-data validation

6

Dimensione dell'effetto come ipotesi per il test di significatività

Oggi, al Cross Validated Journal Club (perché non eri lì?), @Mbq ha chiesto: Pensi che noi (moderni data scientist) sappiamo cosa significa significato? E come si collega alla nostra fiducia nei nostri risultati? @Michelle ha risposto come alcuni (incluso me) di solito fanno: Sto trovando il concetto di significato (basato …

37 hypothesis-testing p-value large-data

5

Set di dati gratuito per classificazione dimensionale molto elevata [chiuso]

Quali sono i set di dati disponibili gratuitamente per la classificazione con più di 1000 funzioni (o punti campione se contiene curve)? Esiste già una wiki della comunità sui set di dati gratuiti: individuazione di campioni di dati disponibili gratuitamente Ma qui, sarebbe bello avere un elenco più mirato che …

35 machine-learning classification dataset large-data

3

Regressione polinomiale usando scikit-learn

Sto cercando di usare scikit-learn per la regressione polinomiale. Da quello che leggo la regressione polinomiale è un caso speciale di regressione lineare. Stavo pensando che forse uno dei modelli lineari generalizzati di scikit possa essere parametrizzato per adattarsi a polinomi di ordine superiore ma non vedo alcuna opzione per …

29 regression machine-learning large-data polynomial scikit-learn

9

Strumenti software di statistica e data mining per gestire set di dati di grandi dimensioni

Attualmente devo analizzare circa 20 milioni di record e costruire modelli di previsione. Finora ho provato Statistica, SPSS, RapidMiner e R. Tra questi Statistica sembra essere il più adatto per gestire il data mining e l'interfaccia utente di RapidMiner è anche molto utile ma sembra che Statistica, RapidMiner e SPSS …

27 large-data software data-mining

1

Apprendimento in streaming all'avanguardia

Ultimamente ho lavorato con set di dati di grandi dimensioni e ho trovato molti documenti sui metodi di streaming. Per dirne alcuni: Follow-the-Regularized Leader e Mirror Descent: Equivalence Teorems and L1 Regularization ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Apprendimento in streaming: SVM One-Pass ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Primal stimato Sub-GrAdient SOlver per SVM …

25 machine-learning references large-data online

1

Come visualizzare un'enorme tabella di contingenza sparsa?

Ho due variabili: Drug Name (DN) e corrispondenti eventi avversi (AE), che si trovano in una relazione molti-a-molti. Ci sono 33.556 nomi di farmaci e 9.516 eventi avversi. La dimensione del campione è di circa 5,8 milioni di osservazioni. Voglio studiare e comprendere l'associazione / relazione tra DN e AE. …

24 r categorical-data data-visualization large-data association-measure

3

Primo passo per i big data (

Supponiamo che tu stia analizzando un enorme insieme di dati al ritmo di miliardi di osservazioni al giorno, in cui ogni osservazione ha un paio di migliaia di variabili numeriche e categoriche sparse e possibilmente ridondanti. Diciamo che c'è un problema di regressione, un problema di classificazione binaria sbilanciato e …

21 r machine-learning data-mining large-data

Domande taggate «large-data»