Grandi algoritmi, apprendimento automatico e nessuna algebra lineare

Insegno un corso di algoritmi avanzati e vorrei includere alcuni argomenti relativi all'apprendimento automatico che saranno di interesse per i miei studenti. Di conseguenza, vorrei sentire l'opinione della gente sui risultati algoritmici più interessanti / attualmente più interessanti nell'apprendimento automatico. Il vincolo potenzialmente complicato è che gli studenti non avranno alcuna particolare conoscenza precedente dell'algebra lineare o degli altri argomenti principali nell'apprendimento automatico.

Questo è davvero per entusiasmarli sull'argomento e far loro sapere che ML è un'area di ricerca potenzialmente eccitante per gli esperti di algoritmi.

EDIT: Questo è un corso di laurea dell'ultimo anno (in quanto non abbiamo corsi di laurea nel Regno Unito in generale). Avranno già svolto almeno un corso di algoritmi di base e presumibilmente fatto bene in esso per aver scelto il corso di follow-up avanzato. L'attuale programma del corso avanzato ha argomenti come hashing perfetto, filtri Bloom, alberi di Van Emde Boas, prog lineare, ca. algoritmi per problemi NP-difficili ecc. Non intendo spendere più di una lezione esclusivamente su ML ma se qualcosa è veramente rilevante sia per un corso di algoritmi che per uno di ML, ovviamente potrebbe anche essere incluso.

Puoi coprire il potenziamento . È molto intelligente, facile da implementare, ampiamente utilizzato nella pratica e non richiede molte conoscenze preliminari per capire.

Se vuoi solo stimolare il loro appetito in una singola lezione, potrebbe essere molto eccitante presentare una potente applicazione. Ad esempio, supportano le macchine vettoriali e altri algoritmi di apprendimento automatico, vengono utilizzati in chemioinformatica per la scoperta di farmaci.

Il problema di apprendimento è essenzialmente: dato un comportamento che vogliamo che una sostanza chimica mostri, escogita una struttura che mostri quel comportamento deducendolo da un database di strutture conosciute che mostrano comportamenti simili (o diversi). Il problema dell'apprendimento ha una ruga in più: il nuovo farmaco deve essere "distante" nella struttura globale dai farmaci precedentemente noti, al fine di fondare una proprietà brevettuale.

Una fonte sono i metodi di clustering e i loro usi nella chimica computazionale .

K-Means e KNN sono molto potenti e non richiedono alcuna algebra lineare tranne il calcolo delle distanze dei punti.

La seconda parte di "Neural Networks and Machine Learning" di Christopher Bishop (presso MSR) riguarda gli algoritmi in ML. I libri di testo di Bishop sono comunemente usati per i libri di testo laureati (e in seguito universitari) e sono estremamente ben scritti.

Questo algoritmo utilizza tagli minimi grafici per classificare una grande quantità di campioni senza etichetta utilizzando solo una piccola quantità di campioni etichettati.

È amichevole agli studenti. Ho spiegato questo a pochi studenti scelti casualmente e l'hanno capito.

Rif: Blum, A., & Chawla, S. (2001). Imparare da dati etichettati e senza etichetta usando i tagli grafici.

Autopromozione Visualizzazione dell'algoritmo su youtube .

Vedo che Expectation Maximization (EM) non è stato menzionato, ed è certamente "lassù" nella top 10: http://www.cs.uvm.edu/~icdm/algorithms/10Algorithms-08.pdf .

Gli algoritmi di rinforzo dell'apprendimento (in particolare Q-Learning e SARSA) sono abbastanza semplici da capire e molto potenti per risolvere alcuni problemi di apprendimento. Non richiedono alcuna conoscenza avanzata dell'algebra lineare, ad eccezione della prova di convergenza e del tasso di convergenza.

Puoi utilizzare il noto sondaggio di Littman e altri: http://www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/rl-survey.html

Puoi coprire alcuni algoritmi che sono classici o con una buona intuizione.

Ad esempio, C4.5 e CART, che sono algoritmi classici dell'albero delle decisioni.

Puoi anche includere alcuni metodi di ensemble (ad es. AdaBoost (Boosting), Bagging), che hanno prestazioni molto buone nelle applicazioni del mondo reale.

Inoltre, il deep learning è anche un buon argomento, perché fa molto caldo.

Bayes nativi e rete bayesiana, gli algoritmi dell'albero decisionale sono abbastanza facili da visualizzare che iniziare con una rete neutra o svm

La programmazione genetica è davvero interessante. Utilizza l'ispirazione dalla biologia e può essere applicato a un gran numero di problemi (ad esempio, problema n-queens e TSP).

Non richiede profonde abilità matematiche.

EDIT: richiede solo un modo per stimare quanto sia valida una potenziale soluzione. Può essere usato, ad esempio, per indovinare la regola dietro una serie di numeri, trovare i minimi / massimi per problemi a più variabili e cercare enormi spazi di parametri. È adatto quando non sei interessato alla soluzione ottimale, ma quando farà una soluzione abbastanza buona. Credo che questo sia stato usato per trovare buone strategie per i giochi (costruisci ordini in Starcraft 2 e gioco ottimale in Mario).