Statistiche e Big Data data-mining

5

Come capire gli svantaggi di K-significa

K-medie è un metodo ampiamente utilizzato nell'analisi dei cluster. Secondo la mia comprensione, questo metodo NON richiede NESSUNA ipotesi, ovvero forniscimi un set di dati e un numero predefinito di cluster, k, e applico solo questo algoritmo che minimizza la somma degli errori al quadrato (SSE), all'interno del cluster al …

365 machine-learning clustering data-mining k-means

12

Qual è la differenza tra data mining, statistiche, machine learning e AI?

Qual è la differenza tra data mining, statistiche, machine learning e AI? Sarebbe preciso dire che sono 4 campi che tentano di risolvere problemi molto simili ma con approcci diversi? Cosa hanno esattamente in comune e dove differiscono? Se ci fosse una sorta di gerarchia tra loro, quale sarebbe? Domande …

208 machine-learning data-mining

4

Kappa di Cohen in inglese semplice

Sto leggendo un libro di data mining e menziona la statistica Kappa come mezzo per valutare le prestazioni di previsione dei classificatori. Tuttavia, non riesco proprio a capirlo. Ho anche controllato Wikipedia ma non ha aiutato troppo: https://en.wikipedia.org/wiki/Cohen's_kappa . In che modo il kappa di Cohen aiuta a valutare le …

131 classification data-mining cohens-kappa

9

Ottenere conoscenza da una foresta casuale

Le foreste casuali sono considerate scatole nere, ma recentemente stavo pensando a quali conoscenze si possano ottenere da una foresta casuale? La cosa più ovvia è l'importanza delle variabili, nella variante più semplice può essere fatto semplicemente calcolando il numero di occorrenze di una variabile. La seconda cosa a cui …

127 machine-learning data-mining interaction random-forest cart

11

Avere un lavoro nel data mining senza dottorato

Sono stato molto interessato al data mining e all'apprendimento automatico per un po ', in parte perché mi sono laureato in quell'area a scuola, ma anche perché sono davvero molto più entusiasta nel cercare di risolvere problemi che richiedono un po' più di pensiero rispetto alla semplice programmazione conoscenza e …

73 machine-learning data-mining careers phd

7

La distanza euclidea di solito non è buona per i dati sparsi?

Ho visto da qualche parte che le distanze classiche (come la distanza euclidea) diventano debolmente discriminanti quando abbiamo dati multidimensionali e radi. Perché? Hai un esempio di due vettori di dati sparsi in cui la distanza euclidea non funziona bene? In questo caso quale somiglianza dovremmo usare?

72 machine-learning clustering data-mining sparse euclidean

8

Competenze difficili da trovare negli studenti di macchine?

Sembra che il data mining e l'apprendimento automatico siano diventati così popolari che ora quasi tutti gli studenti CS conoscono classificatori, clustering, PNL statistica ... ecc. Quindi, al giorno d'oggi, non è difficile trovare minatori di dati. La mia domanda è: quali sono le competenze che un data mining potrebbe …

71 machine-learning data-mining

8

Genera una variabile casuale con una correlazione definita con una o più variabili esistenti

Per uno studio di simulazione devo generare variabili casuali che mostrano una correlazione (popolazione) predefinita a una variabile esistente .YYY Ho esaminato i Rpacchetti copulae CDVineche possono produrre distribuzioni multivariate casuali con una determinata struttura di dipendenza. Tuttavia, non è possibile fissare una delle variabili risultanti su una variabile esistente. …

71 r correlation random-variable random-generation independence assumptions random-variable unbiased-estimator regression hypothesis-testing heteroscedasticity generalized-least-squares distributions networks data-visualization sas reproducible-research philosophical time-series variance outliers quality-control mean multilevel-analysis average weighted-mean regression confidence-interval prediction-interval correlation matlab matrix data-mining maximum-likelihood r time-series survival predictive-models

2

Perché solo tre partizioni? (formazione, validazione, test)

Quando si tenta di adattare i modelli a un set di dati di grandi dimensioni, il consiglio comune è quello di suddividere i dati in tre parti: formazione, convalida e set di dati di test. Questo perché i modelli di solito hanno tre "livelli" di parametri: il primo "parametro" è …

61 machine-learning model-selection data-mining

12

Software necessario per raschiare i dati dal grafico [chiuso]

Qualcuno ha qualche esperienza con il software (preferibilmente gratuito, preferibilmente open source) che acquisirà un'immagine dei dati tracciati su coordinate cartesiane (una trama standard quotidiana) ed estrarrà le coordinate dei punti tracciati sul grafico? In sostanza, si tratta di un problema di data mining e di visualizzazione inversa dei dati.

56 data-visualization data-mining software

8

Il campionamento è rilevante ai tempi dei "big data"?

O più così "sarà"? I Big Data rendono le statistiche e le conoscenze pertinenti ancora più importanti, ma sembrano sottovalutare la teoria del campionamento. Ho visto questo clamore intorno a "Big Data" e non posso fare a meno di chiedermi che "perché" dovrei analizzare tutto ? Non c'era un motivo …

54 sampling data-mining large-data

3

Abbiamo un problema di "voti pietà"?

Lo so, potrebbe sembrare fuori tema, ma ascoltami. Su Stack Overflow e qui otteniamo voti sui post, tutto viene archiviato in forma tabellare. Per esempio: post ID di votazione ID di votazione datetime ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3 2000-1-1 10:00:01 10 5 2 …

51 time-series hypothesis-testing data-mining markov-process censoring

3

Clustering con K-Means e EM: come sono correlati?

Ho studiato algoritmi per il clustering dei dati (apprendimento non supervisionato): EM e k-medie. Continuo a leggere quanto segue: k-mean è una variante di EM, con le ipotesi che i cluster siano sferici. Qualcuno può spiegare la frase sopra? Non capisco cosa significhino sferica, e come siano correlati kmean ed …

50 machine-learning clustering data-mining k-means expectation-maximization

1

Metriche delle prestazioni per valutare l'apprendimento non supervisionato

Per quanto riguarda l'apprendimento non supervisionato (come il clustering), ci sono metriche per valutare le prestazioni?

49 machine-learning clustering data-mining unsupervised-learning

3

Quali sono le differenze tra i modelli di Markov nascosti e le reti neurali?

Mi sto solo bagnando i piedi nelle statistiche, quindi mi dispiace se questa domanda non ha senso. Ho usato i modelli Markov per prevedere stati nascosti (casinò ingiusti, lancio di dadi, ecc.) E reti neurali per studiare i clic degli utenti su un motore di ricerca. Entrambi avevano stati nascosti …

40 data-mining algorithms neural-networks markov-process

Domande taggate «data-mining»