Recentemente in una lezione di Machine Learning del professor Oriol Pujol presso UPC / Barcellona ha descritto gli algoritmi, i principi e i concetti più comuni da utilizzare per una vasta gamma di attività correlate all'apprendimento automatico. Qui li condivido con te e ti chiedo:
- Esistono attività di abbinamento del framework complete con approcci o metodi relativi a diversi tipi di problemi relativi all'apprendimento automatico?
Come imparo un semplice gaussiano? Probabilità, variabili casuali, distribuzioni; stima, convergenza e asintotici, intervallo di confidenza.
Come imparo una miscela di gaussiani (MoG)? Probabilità, Expectation-Maximization (EM); generalizzazione, selezione del modello, convalida incrociata; k-significa, modelli markov nascosti (HMM)
Come imparo qualsiasi densità? Stima parametrica vs. non parametrica, Sobolev e altri spazi funzionali; 2 errore; Stima della densità del kernel (KDE), kernel ottimale, teoria di KDE
Come posso prevedere una variabile continua (regressione)? Regressione lineare, regolarizzazione, regressione della cresta e LASSO; regressione lineare locale; stima della densità condizionale.
Come posso prevedere una variabile discreta (classificazione)? Classificatore di Bayes, Bayes ingenuo, generativo vs. discriminativo; percezione, decadimento del peso, macchina vettore supporto lineare; classificatore e teoria del vicino più vicino
Quale funzione di perdita dovrei usare? Teoria della stima della massima verosimiglianza; stima l -2; Stima bayessiana; minimax e teoria delle decisioni, bayesianismo vs frequentismo
Quale modello dovrei usare? AIC e BIC; Teoria di Vapnik-Chervonenskis; teoria della validazione incrociata; bootstrapping; Teoria probabilmente approssimativamente corretta (PAC); Limiti derivati da Hoeffding
Come posso imparare modelli più elaborati (combinati)? Teoria dell'apprendimento degli ensemble; aumentando; insaccamento; impilamento
Come posso imparare modelli più elaborati (non lineari)? Modelli lineari generalizzati, regressione logistica; Teorema di Kolmogorov, modelli additivi generalizzati; kernelization, riproduzione degli spazi del kernel Hilbert, SVM non lineare, regressione del processo gaussiana
Come posso imparare modelli più elaborati (compositivi)? Modelli ricorsivi, alberi decisionali, clustering gerarchico; reti neurali, propagazione della schiena, reti di credenze profonde; modelli grafici, miscele di HMM, campi casuali condizionali, reti Markov a margine massimo; modelli log-lineari; grammatiche
Come posso ridurre o mettere in relazione le funzionalità? Selezione delle funzioni vs riduzione della dimensionalità, metodi wrapper per la selezione delle funzioni; causalità vs correlazione, correlazione parziale, apprendimento della struttura della rete di Bayes
Come posso creare nuove funzionalità? analisi delle componenti principali (PCA), analisi delle componenti indipendenti (ICA), ridimensionamento multidimensionale, apprendimento multiforme, riduzione dimensionale supervisionata, apprendimento metrico
Come posso ridurre o mettere in relazione i dati? Clustering, bi-clustering, clustering vincolato; regole di associazione e analisi del paniere di mercato; classifica / regressione ordinale; analisi dei collegamenti; dati relazionali
Come posso trattare le serie storiche? ARMA; Filtri di Kalman e modelli stat-space, filtro antiparticolato; analisi dei dati funzionali; rilevamento del punto di cambio; convalida incrociata per serie storiche
Come posso trattare i dati non ideali? turno di covariata; squilibrio di classe; dati mancanti, dati campionati in modo irregolare, errori di misurazione; rilevazione anomalie, robustezza
Come ottimizzo i parametri? Ottimizzazione non vincolata vs vincolata / convessa, metodi senza derivati, metodi di primo e secondo ordine, backfitting; gradiente naturale; ottimizzazione rilegata ed EM
Come ottimizzo le funzioni lineari? algebra lineare computazionale, inversione di matrice per regressione, decomposizione di valore singolare (SVD) per riduzione di dimensionalità
Come posso ottimizzare con i vincoli? Convessità, moltiplicatori di Lagrange, condizioni di Karush-Kuhn-Tucker, metodi di punti interni, algoritmo SMO per SVM
Come posso valutare somme profondamente annidate? Inferenza del modello grafico esatto, limiti variazionali sulle somme, inferenza del modello grafico approssimativa, propagazione delle aspettative
Come posso valutare ingenti somme e ricerche? Problemi generalizzati a corpo N (PNL), strutture gerarchiche di dati, ricerca dei vicini più vicini, metodo multiplo veloce; Integrazione Monte Carlo, Markov Chain Monte Carlo, Monte Carlo SVD
Come posso trattare problemi ancora più grandi? EM parallelo / distribuito, GNP parallelo / distribuito; metodi di laurea stocastica, apprendimento online
Come posso applicare tutto questo nel mondo reale? Panoramica delle parti del ML, scelta tra i metodi da utilizzare per ciascun compito, conoscenza preliminare e ipotesi; analisi esplorativa dei dati e visualizzazione delle informazioni; valutazione e interpretazione, utilizzando intervalli di confidenza e test di ipotesi, curve ROC; dove sono i problemi di ricerca in ML