Scienza dei dati

4

Sto provando a imparare da solo il web scraping usando Python come parte di uno sforzo per imparare l'analisi dei dati. Sto cercando di raschiare la pagina web imdb il cui url è il seguente: http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012 Sto usando il modulo BeautifulSoup. Di seguito è riportato il codice che sto usando: …

10 data-mining python scraping

1

Etichette multiple in algoritmo di apprendimento supervisionato

Ho un corpus di testo con argomenti corrispondenti. Ad esempio "A rapper Tupac was shot in LA"ed è stato etichettato come ["celebrity", "murder"]. Quindi praticamente ogni vettore di caratteristiche può avere molte etichette (non la stessa quantità. Il primo vettore di caratteristiche può avere 3 etichette, seconda 1, terza 5). …

10 machine-learning text-mining

3

Analisi del file di registro: estrazione della parte di informazioni dalla parte di valore

Sto cercando di creare un set di dati su diversi file di registro di uno dei nostri prodotti. I diversi file di registro hanno il loro layout e il loro contenuto; Li ho raggruppati con successo, rimanendo solo un passo ... In effetti, i "messaggi" di registro sono le migliori …

10 text-mining clustering

2

Librerie per l'apprendimento automatico online

Sto cercando pacchetti (in python, R o un pacchetto autonomo) per eseguire l'apprendimento online per prevedere i dati di borsa. Ho trovato e letto su Vowpal Wabbit ( https://github.com/JohnLangford/vowpal_wabbit/wiki ), che sembra essere abbastanza promettente ma mi chiedo se ci siano altri pacchetti là fuori. Grazie in anticipo.

10 machine-learning online-learning

1

Librerie per (algoritmi di propagazione delle etichette / mining frequente di subgraph) per grafici in R

Descrizione generale del problema Ho un grafico in cui alcuni vertici sono etichettati con un tipo con 3 o 4 possibili valori. Per gli altri vertici, il tipo è sconosciuto. Il mio obiettivo è utilizzare il grafico per prevedere il tipo di vertici senza etichetta. Quadro possibile Sospetto che questo …

10 classification r graphs

2

Rilevamento anomalo / anomalia scalabile

Sto cercando di configurare una grande infrastruttura di dati utilizzando Hadoop, Hive, Elastic Search (tra gli altri) e vorrei eseguire alcuni algoritmi su determinati set di dati. Vorrei che gli algoritmi stessi fossero scalabili, quindi questo esclude l'uso di strumenti come Weka, R o persino RHadoop. Il Mahout Biblioteca Apache …

10 data-mining bigdata algorithms outlier

2

implementare la differenza temporale negli scacchi

Ho sviluppato un programma di scacchi che utilizza l'algoritmo di potatura alfa-beta e una funzione di valutazione che valuta le posizioni usando le seguenti caratteristiche: materiale, sicurezza del re, mobilità, struttura dei pedoni e pezzi intrappolati ecc .... La mia funzione di valutazione è derivato dal f( p ) = …

10 machine-learning algorithms reinforcement-learning

2

Estrai la stringa canonica da un elenco di stringhe rumorose

Ho migliaia di elenchi di stringhe e ogni elenco ha circa 10 stringhe. La maggior parte delle stringhe in un determinato elenco sono molto simili, anche se alcune stringhe (raramente) sono completamente estranee alle altre e alcune stringhe contengono parole irrilevanti. Possono essere considerate variazioni rumorose di una stringa canonica. …

10 nlp similarity information-retrieval

4

Perché diversi tipi di modelli potrebbero dare risultati quasi identici?

Ho analizzato un set di dati di ~ 400k record e 9 variabili La variabile dipendente è binaria. Ho adattato una regressione logistica, un albero di regressione, una foresta casuale e un albero potenziato con gradiente. Tutti danno virtuale identica bontà dei numeri di adattamento quando li convalido su un …

10 data-mining classification binary

3

In che modo le varie tecniche statistiche (regressione, PCA, ecc.) Si adattano alle dimensioni e alla dimensione del campione?

Esiste una tabella generale nota di tecniche statistiche che spiega come si adattano alle dimensioni e alle dimensioni del campione? Ad esempio, un mio amico mi ha detto l'altro giorno che il tempo di calcolo del semplice ordinamento rapido dei dati monodimensionali di dimensione n va come n * log …

10 bigdata statistics efficiency scalability

4

Quali passi iniziali dovrei usare per dare un senso a grandi set di dati e quali strumenti dovrei usare?

Avvertenza: sono un principiante assoluto quando si tratta di apprendimento automatico, ma desideroso di imparare. Ho un set di dati di grandi dimensioni e sto cercando di trovare un modello in esso. Potrebbe esserci / potrebbe non esserci correlazione tra i dati, con variabili note o variabili che sono contenute …

10 machine-learning data-mining tools beginner

3

Statistica + Informatica = Data Science? [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per lo scambio di stack di Data Science. Chiuso 5 anni fa . voglio diventare uno scienziato di dati . Ho studiato la statistica applicata …

10 machine-learning statistics career

1

Previsione con caratteristiche non atomiche

Vorrei utilizzare dati non atomici, come funzionalità per una previsione. Supponiamo che io abbia una tabella con queste caratteristiche: - Column 1: Categorical - House - Column 2: Numerical - 23.22 - Column 3: A Vector - [ 12, 22, 32 ] - Column 4: A Tree - [ [ …

10 machine-learning

2

Previsioni del mercato dei cambi con reti neurali

Vorrei utilizzare ANN per automatizzare le valute di trading, preferibilmente USD / EUR o USD / GBP. So che è difficile e potrebbe non essere semplice. Ho già letto alcuni articoli e fatto alcuni esperimenti, ma senza molta fortuna. Vorrei ricevere consigli dagli esperti per farlo funzionare. Ecco cosa ho …

10 neural-network

3

Gestire un set di funzionalità in costante aumento

Sto lavorando a un sistema di rilevamento delle frodi. In questo campo, nuove frodi appaiono regolarmente, quindi è necessario aggiungere nuove funzionalità al modello su base continuativa. Mi chiedo quale sia il modo migliore per gestirlo (dal punto di vista del processo di sviluppo)? L'aggiunta di una nuova funzionalità nel …

10 machine-learning bigdata