Apprendimento automatico tramite Python

Sto pensando di utilizzare le librerie Python per fare i miei esperimenti di Machine Learning. Finora mi ero affidato a WEKA, ma nel complesso sono rimasto piuttosto insoddisfatto. Questo principalmente perché ho trovato che WEKA non era così ben supportato (pochissimi esempi, la documentazione è scarsa e il supporto della comunità è meno desiderabile nella mia esperienza) e mi sono trovato in situazioni difficili senza alcun aiuto. Un altro motivo per cui sto contemplando questa mossa è perché mi piace davvero Python (sono nuovo di Python) e non voglio tornare alla programmazione in Java.

Quindi la mia domanda è: cosa sono di più

1. globale
2. scalabile (funzionalità 100k, esempi 10k) e
3. librerie ben supportate per fare ML in Python là fuori?

Sono particolarmente interessato a fare la classificazione del testo, e quindi vorrei usare una libreria che ha una buona collezione di classificatori, metodi di selezione delle caratteristiche (guadagno di informazioni, Chi-Sqaured ecc.) E capacità di pre-elaborazione del testo (stemming, rimozione di stopword , tf-idf ecc.).

Sulla base dei precedenti thread di posta elettronica qui e altrove, finora ho esaminato PyML, scikits-learn e Orange. Come sono state le esperienze delle persone rispetto alle 3 metriche sopra menzionate?

Qualche altro suggerimento?

Informazioni sull'opzione scikit-learn: le funzionalità 100k (sparse) e i campioni 10k sono abbastanza piccole da adattarsi alla memoria, quindi perfettamente realizzabili con scikit-learn (stesse dimensioni del set di dati di 20 newsgroup).

Ecco un tutorial che ho tenuto a PyCon 2011 con un capitolo sulla classificazione del testo con esercizi e soluzioni:

• http://scikit-learn.github.com/scikit-learn-tutorial/ (versione HTML online)

• https://github.com/downloads/scikit-learn/scikit-learn-tutorial/scikit_learn_tutorial.pdf (versione PDF)

• https://github.com/scikit-learn/scikit-learn-tutorial (codice sorgente + esercizi)

Ho anche tenuto un discorso sull'argomento che è una versione aggiornata della versione che ho dato a PyCon FR. Ecco le diapositive (e il video incorporato nei commenti):

• http://www.slideshare.net/ogrisel/statistical-machine-learning-for-text-classification-with-scikitlearn-and-nltk

Per quanto riguarda la selezione delle funzionalità, dai un'occhiata a questa risposta su quora in cui tutti gli esempi sono basati sulla documentazione di scikit-learn:

• http://www.quora.com/What-are-some-feature-selection-methods/answer/Olivier-Grisel

Non abbiamo ancora l'estrazione delle caratteristiche di collocazione in scikit-learn. Usa nltk e nltk-trainer per farlo nel frattempo:

• https://github.com/japerk/nltk-trainer

In termini di lavoro con il testo, dai un'occhiata a NLTK. Molto, molto ben supportato e documentato (c'è anche un libro online o su carta se preferisci) e farà il preprocesing di cui hai bisogno. Potresti trovare utile anche Gensim; l'enfasi è sulla modellazione dello spazio vettoriale e ha implementazioni scalabili di LSI e LDA (penso anche pLSI) se queste sono di interesse. Farà anche la selezione di tf-idf - Non sono sicuro che NLTK lo faccia. Ho usato pezzi di questi su corpora di ~ 50k senza troppe difficoltà.

NLTK: http://www.nltk.org/

Gensim: http://nlp.fi.muni.cz/projekty/gensim/

Sfortunatamente, per quanto riguarda la principale spinta della tua domanda, non ho familiarità con le librerie specifiche a cui fai riferimento (anche se ho già usato frammenti di scikit-impara prima).

Python ha una vasta gamma di librerie ML (controlla anche mloss.org). Tuttavia, ho sempre la sensazione che sia più utile per i ricercatori ml che per i professionisti ml.

Numpy / SciPy e matplotlib sono strumenti eccellenti per il lavoro scientifico con Python. Se non hai paura di hackerare la maggior parte delle formule matematiche, non rimarrai deluso. Inoltre, è molto facile usare la GPU con cudamat o gnumpy - gli esperimenti che hanno richiesto giorni prima sono ora completati in ore o persino minuti.

L'ultimo bambino del blocco è probabilmente Theano . È un linguaggio simbolico per le espressioni matematiche che viene fornito con opmitimzations, implementazioni GPU e la differenziazione automatica über-funzionalità che è a dir poco impressionante per i metodi basati sul gradiente.

Inoltre, per quanto ne so, la NLTK menzionata da JMS è fondamentalmente la libreria di linguaggio naturale open source numero uno in circolazione.

Python è lo strumento giusto per l'apprendimento automatico.

Lasciami suggerire Orange

globale

sì

scalabile (caratteristiche 100k, esempi 10k)

sì

librerie ben supportate per fare ML in Python là fuori?

sì

libreria che ha una buona collezione di classificatori, metodi di selezione delle caratteristiche (guadagno di informazioni, Chi-Sqaured ecc.),

Tutti questi funzionano fuori dagli schemi in Orange

e funzionalità di pre-elaborazione del testo (stemming, rimozione di stopword, tf-idf ecc.).

Tuttavia, non ho mai usato Orange per l'elaborazione del testo

Non sono sicuro che ciò sia particolarmente utile, ma c'è una guida per i programmatori per apprendere le statistiche in Python disponibili online. http://www.greenteapress.com/thinkstats/

Sembra piuttosto buono dalla mia breve scansione e sembra parlare di alcuni metodi di apprendimento automatico, quindi potrebbe essere un buon punto di partenza.

Dai un'occhiata a libsvm .

SHOGUN ( 将軍 ) è una cassetta degli attrezzi di apprendimento automatico su larga scala, che sembra promettente.

libreria ml di python open source PySpark MLlib https://spark.apache.org/docs/0.9.0/mllib-guide.html

libreria ml proprietaria con prova gratuita GraphLab Crea https://dato.com/products/create/

Come evidenziato da @ogrisel, scikit-learn è uno dei migliori pacchetti di machine learning disponibili per Python. È adatto per set di dati piccoli quanto 100k (sparsi) e 10k campioni, e anche per set di dati leggermente più grandi che possono contenere oltre 200k righe. Fondamentalmente, qualsiasi set di dati che si adatta alla memoria.

Ma, se stai cercando un framework Python Machine Learning altamente scalabile, consiglio vivamente Pyspark MLlib. Dato che i set di dati in questi giorni possono crescere in modo esponenziale (dati i big data e l'onda del deep learning), spesso avresti bisogno di una piattaforma in grado di scalare bene e correre veloce non solo nella fase di formazione del modello, ma anche durante la fase di progettazione delle funzionalità (trasformazione delle funzionalità , selezione funzionalità). Diamo un'occhiata a tutte e tre le metriche per la piattaforma Spark Mllib che ti interessano:

1. Scalabilità: se il tuo set di dati si adatta alla memoria, scikit-learn dovrebbe essere la tua scelta. Se è troppo grande per adattarsi alla memoria, Spark è la strada da percorrere. La cosa importante da notare qui è che Spark funziona più velocemente solo in un'impostazione distribuita.

2. Completezza: Sklearn è molto più ricco in termini di implementazioni decenti di un gran numero di algoritmi comunemente usati rispetto a spark mllib. Il supporto per la manipolazione e la trasformazione dei dati è anche più ricco in scikit-learn. Spark Mllib ha moduli di trasformazione dei dati sufficienti che fanno la maggior parte delle volte. Quindi, nel caso in cui finiate con spark mllib per problemi di scalabilità, sarete ancora in grado di portare a termine il lavoro. Ha tutto il supporto per l'analisi delle correlazioni, l'estrazione delle caratteristiche (tf-idf, word2vec, CountVectorizer), la trasformazione delle caratteristiche (Tokenizer, StopWordsRemover, nn-gram, Binarizer, PCA ecc.). Per un elenco dettagliato consultare il link seguente:

Estrazione, trasformazione e selezione di funzioni in Spark mllib

3. Classificazione: Spark mllib ha l'implementazione di tutti i principali algoritmi che useresti la maggior parte delle volte (compresi gli algoritmi che funzionano bene per la classificazione del testo). Per una panoramica dettagliata di quali algoritmi sono disponibili tramite mllib, vedere il link seguente.

Classificazione e regressione Mllib

Bonus: Apache Spark ha il supporto per Python, R, Java e Scala. Quindi, se domani decidi di sperimentare una lingua diversa (come scelta personale o per motivi professionali), non dovrai imparare un quadro completamente nuovo.

Non so se stai ancora cercando qualche consiglio (hai fatto questa domanda 5 mesi fa ...). Ho appena iniziato questo libro e finora è abbastanza bene:

https://www.amazon.com.mx/dp/1491962291/ref=cm_cr_ryp_prd_ttl_sol_3

L'autore mostra codice, esempi e spiega alcune teorie e matematiche "dietro le quinte" degli algoritmi ML. Lo trovo molto istruttivo. Spero che questo possa essere lo stesso per te.