In un recente colloquio, l'abstract del relatore sosteneva che stavano usando l'apprendimento automatico. Durante il discorso, l'unica cosa relativa all'apprendimento automatico era che eseguono una regressione lineare sui loro dati. Dopo aver calcolato i coefficienti di adattamento migliore nello spazio dei parametri 5D, hanno confrontato questi coefficienti in un sistema con i coefficienti di adattamento migliore di altri sistemi.

Quando l' apprendimento automatico della regressione lineare , invece di trovare semplicemente una linea più adatta? (L'astratto del ricercatore era fuorviante?)

Con tutta l'attenzione che l'apprendimento automatico ha raccolto recentemente, sembra importante fare tali distinzioni.

La mia domanda è come questa , tranne per il fatto che quella domanda richiede la definizione di "regressione lineare", mentre la mia chiede quando la regressione lineare (che ha un ampio numero di applicazioni) può essere appropriatamente chiamata "apprendimento automatico".

chiarimenti

Non sto chiedendo quando la regressione lineare è uguale all'apprendimento automatico. Come alcuni hanno sottolineato, un singolo algoritmo non costituisce un campo di studio. Sto chiedendo quando è corretto dire che si sta facendo l'apprendimento automatico quando l'algoritmo che si sta usando è semplicemente una regressione lineare.

A parte tutti gli scherzi (vedi commenti), uno dei motivi per cui lo chiedo è perché non è etico dire che si sta facendo l'apprendimento automatico per aggiungere alcune stelle d'oro al tuo nome se non lo fanno davvero . (Molti scienziati calcolano un certo tipo di linea più adatta per il loro lavoro, ma ciò non significa che stiano facendo l'apprendimento automatico.) D'altra parte, ci sono chiaramente situazioni in cui la regressione lineare viene utilizzata come parte dell'apprendimento automatico. Sto cercando esperti per aiutarmi a classificare queste situazioni. ;-)

Rispondere alla tua domanda con una domanda: che cos'è esattamente l'apprendimento automatico? Trevor Hastie, Robert Tibshirani e Jerome Friedman in The Elements of Statistical Learning , Kevin P. Murphy in Machine Learning A Probabilistic Perspective , Christopher Bishop in Pattern Recognition and Machine Learning , Ian Goodfellow, Yoshua Bengio e Aaron Courville in Deep Learning e una serie di altre "bibbie" di machine learning menzionano la regressione lineare come uno degli "algoritmi" di machine learning. L'apprendimento automatico è in parte una parola d'ordine per le statistiche applicate e la distinzione tra statistica e apprendimento automatico è spesso sfocata.

La regressione lineare è sicuramente un algoritmo che può essere utilizzato nell'apprendimento automatico. Ma reductio ad absurdum : chiunque abbia una copia di Excel può adattarsi a un modello lineare.

Anche limitandoci a modelli lineari, ci sono alcune altre cose da considerare quando si discute dell'apprendimento automatico:

• L'apprendimento automatico sui problemi aziendali può comportare una quantità maggiore di dati. " Big data ", se si desidera utilizzare la parola d'ordine. La pulizia e la preparazione dei dati potrebbe richiedere più lavoro rispetto alla modellazione effettiva. E quando il volume di dati supera la capacità di una singola macchina di elaborarlo, le sfide ingegneristiche sono significative quanto quelle statistiche. (Regola empirica: se si adatta alla memoria principale non si tratta di big data).
• L'apprendimento automatico comporta spesso molte più variabili esplicative (caratteristiche) rispetto ai modelli statistici tradizionali. Forse dozzine, a volte persino centinaia, alcune delle quali saranno variabili categoriali con molti livelli. Quando queste funzionalità possono potenzialmente interagire (ad es. In un modello a effetti incrociati) il numero di potenziali modelli da adattare aumenta rapidamente.
• Il professionista dell'apprendimento automatico di solito è meno interessato al significato delle singole caratteristiche e più interessato a spremere più potere predittivo possibile da un modello, usando qualunque combinazione di caratteristiche. (I valori P sono associati alla spiegazione, non alla previsione.)
• Con un gran numero di funzioni e vari modi di progettarle, la selezione del modello a mano diventa impossibile. A mio avviso, la vera sfida nell'apprendimento automatico è la selezione automatizzata di funzionalità (ingegneria delle funzionalità) e altri aspetti delle specifiche del modello. Con un modello lineare ci sono vari modi per farlo, di solito varianti della forza bruta; tra cui regressione graduale, eliminazione della schiena ecc., che richiedono ancora una notevole potenza di calcolo. (Seconda regola empirica: se selezioni le funzionalità manualmente, stai facendo statistiche, non apprendimento automatico).
• Quando si adattano automaticamente molti modelli con molte funzionalità, l'eccessivo adattamento è un grave problema potenziale. Affrontare questo problema comporta spesso una qualche forma di convalida incrociata : vale a dire un calcolo ancora maggiore della forza bruta!

La risposta breve, dal mio punto di vista, è che dove l'apprendimento automatico si discosta dalla modellistica statistica tradizionale è nell'applicazione della forza bruta e degli approcci numerici alla selezione dei modelli, specialmente in domini con una grande quantità di dati e un gran numero di variabili esplicative , con particolare attenzione al potere predittivo, seguito da una maggiore forza bruta per la validazione del modello.

Penso che la definizione di Mitchell fornisca un modo utile per fondare la discussione sull'apprendimento automatico, una sorta di primo principio. Come riprodotto su Wikipedia :

Si dice che un programma per computer apprenda dall'esperienza E rispetto ad alcune classi di attività T e che misurino le prestazioni P se le sue prestazioni nelle attività in T, misurate da P, migliorano con l'esperienza E.

Questo è utile in alcuni modi. Innanzitutto, alla tua domanda immediata: la regressione è l'apprendimento automatico quando il suo compito è fornire un valore stimato dalle funzionalità predittive in alcune applicazioni. Le sue prestazioni dovrebbero migliorare, misurate in base all'errore quadratico medio (o assoluto, ecc.) Dato che registra più dati.

In secondo luogo, aiuta a delineare l'apprendimento automatico da termini correlati e il suo utilizzo come parola d'ordine di marketing. Contrasta l'attività sopra con una regressione inferenziale standard, in cui un analista interpreta i coefficienti per relazioni significative. Qui il programma restituisce un riepilogo: coefficienti, valori p, ecc. Non si può dire che il programma migliori queste prestazioni con l'esperienza; il compito è un calcolo elaborato.

Infine, aiuta a unificare i sottocampi di machine learning, entrambi quelli comunemente usati nell'esposizione introduttiva (supervisionato, non supervisionato) con altri come l'apprendimento di rinforzo o la stima della densità. (Ognuno ha un compito, una misura delle prestazioni e un concetto di esperienza, se ci pensate abbastanza su di loro.) Fornisce, penso, una definizione più ricca che aiuta a delineare i due campi senza ridurre inutilmente neanche uno. Ad esempio, "ML è per la previsione, statistiche per l'inferenza" ignora sia le tecniche di apprendimento automatico al di fuori dell'apprendimento supervisionato, sia le tecniche statistiche che si concentrano sulla previsione.

Non esiste una legge che stabilisca che un ebanista non possa usare la sega di un barile.

L'apprendimento automatico e le statistiche sono etichette vaghe, ma se ben definiti c'è molta sovrapposizione tra statistiche e apprendimento automatico. E questo vale per i metodi di queste due aree, nonché (e separatamente) per le persone che si etichettano con queste due aree. Ma per quanto riguarda la matematica, l'apprendimento automatico rientra interamente nel campo della statistica.

La regressione lineare è una procedura matematica ben definita. Tendo ad associarlo all'area delle statistiche e alle persone che si definiscono "statistici" e a coloro che escono da programmi accademici con etichette come "statistiche". Anche SVM (Support Vector Machines) è una procedura matematica ben definita che ha alcuni input e output simili e risolve problemi simili. Tuttavia, tendo ad associarlo all'area dell'apprendimento automatico e alle persone che si definiscono scienziati informatici o persone che lavorano nell'intelligenza artificiale o nell'apprendimento automatico che tendono a essere considerate parte dell'informatica come disciplina.

Ma alcuni statistici potrebbero usare SVM e alcune persone con intelligenza artificiale usano la regressione logistica. Giusto per essere chiari, è più probabile che uno statistico o un ricercatore di intelligenza artificiale sviluppi un metodo piuttosto che metterlo effettivamente in pratica.

Ho inserito tutti i metodi di machine learning direttamente nel dominio delle statistiche. Anche cose recenti come Deep Learning, RNN, CNN, LSTM, CRF. Uno statistico applicato (biostatista, agronomo) potrebbe non averne familiarità. Questi sono tutti metodi di modellazione predittiva di solito etichettati con l'apprendimento automatico e raramente associati alle statistiche. Ma sono modelli predittivi, con la possibilità che possano essere giudicati usando metodi statistici.

Alla fine, la regressione logistica deve essere considerata parte dell'apprendimento automatico.

Ma sì, vedo e spesso condivido il tuo disgusto per l'applicazione errata di queste parole. La regressione lineare è una parte così fondamentale delle cose chiamate statistiche che sembra molto strano e fuorviante chiamarlo "apprendimento automatico" .

Per illustrare, la regressione logistica è identica matematicamente a una rete di apprendimento profondo senza nodi nascosti e la funzione logistica come funzione di attivazione per il singolo nodo di output. Non definirei la regressione logistica un metodo di apprendimento automatico, ma è certamente usato in contesti di apprendimento automatico.

È principalmente un problema di aspettativa.

A: "Ho usato l'apprendimento automatico per prevedere la riammissione in ospedale dopo un intervento al cuore".

B: "Oh sì? Deep Learning? Foreste casuali? !!?"

A: "Oh, no, niente di speciale, solo la regressione logistica."

B: sguardo estremamente deluso .

È come dire, quando lavi una finestra con acqua che stai usando la chimica quantistica. Beh sì certo non è tecnicamente sbagliato ma stai insinuando molto più di quanto sia necessario.

Ma in realtà, questa è esattamente una differenza culturale rispetto a una differenza sostanziale. Le connotazioni di una parola e le associazioni con gruppi di persone (LR non è assolutamente ML!) Rispetto alla matematica e alle applicazioni (LR è totalmente ML!).

L'opinione comune è che l'apprendimento automatico è composto da 4 aree:

1) Riduzione dimensionale

2) Clustering

3) Classificazione

4) Regressione

La regressione lineare è una regressione. Una volta che il modello è stato addestrato, potrebbe essere utilizzato per le previsioni, come qualsiasi altro, ad esempio Regressione forestale casuale.

La regressione lineare è una tecnica, mentre l'apprendimento automatico è un obiettivo che può essere raggiunto con diversi mezzi e tecniche.

Quindi le prestazioni di regressione sono misurate da quanto si adatta a una linea / curva attesa, mentre l'apprendimento automatico è misurato da quanto è in grado di risolvere un determinato problema, con qualsiasi mezzo necessario.

Sosterrò che la distinzione tra apprendimento automatico e inferenza statistica è chiara. In breve, l'apprendimento automatico = previsione di osservazioni future ; statistiche = spiegazione.

Ecco un esempio del mio campo di interesse (medicina): quando sviluppiamo un farmaco, cerchiamo i geni che spiegano meglio uno stato di malattia, con l'obiettivo di indirizzarlo con il farmaco. Usiamo statisti per questo. Al contrario, quando si sviluppano test diagnostici, ad esempio prevedere se il farmaco aiuterà un paziente, l'obiettivo è quello di trovare rigorosamente il miglior predittore del risultato futuro, anche se comprende molti geni ed è troppo complicato da capire. Usiamo l'apprendimento automatico per questo scopo. Esistono diversi esempi pubblicati [1], [2], [3], [4] che mostrano che la presenza del target farmacologico non è un buon predittore dell'esito del trattamento, da cui la distinzione.

Sulla base di questo, è corretto affermare che si sta facendo l'apprendimento automatico quando l'obiettivo è prevedere rigorosamente l'esito di osservazioni future / mai viste prima. Se l'obiettivo è comprendere un fenomeno particolare, allora si tratta dell'inferenza statistica, non dell'apprendimento automatico. Come altri hanno sottolineato, questo è vero indipendentemente dal metodo in questione.

Per rispondere alla tua domanda: nella ricerca specifica che descrivi, gli scienziati stavano confrontando i ruoli dei fattori (pesi) in diversi modelli di regressione lineare, non confrontando le accuratezze del modello. Pertanto, non è accurato chiamare il loro machine learning di inferenza.

[1] Messersmith WA, Ahnen DJ. Targeting EGFR nel carcinoma del colon-retto. The New England Journal of Medicine; 2008; 359; 17.

[2] Pogue-Geile KL et al. Previsione del grado di beneficio dall'adiuvante Trastuzumab nella sperimentazione NSABP B-31. J Natl Cancer Inst; 2013; 105: 1782-1788.

[3] Pazdur R. Approvazione FDA per Vemurafenib. https://www.cancer.gov/about-cancer/treatment/drugs/fda-vemurafenib . Aggiornato il 3 luglio 2013.

[4] Ray T. Due studi ASCO dimostrano la sfida dell'utilizzo della segnalazione MET come marker predittivo nelle sperimentazioni sui farmaci dell'NSCLC. GenomeWeb, 11 giugno 2014.

Può essere utile chiamare l'apprendimento automatico della regressione lineare perché farlo in genere implica un paio di cose importanti su come hai risolto il tuo problema:

1. Hai deciso che non era necessario controllare le ipotesi causali e la teoria precedente dietro le tue variabili esplicative. Segnala che il tuo modello non era destinato a spiegare ma a prevedere. Questo è perfettamente ragionevole in molte impostazioni, ad esempio, prevedere lo spam e-mail in base alle parole chiave. Non c'è davvero molta letteratura su cui le parole predicono lo spam e ci sono così tante parole che non ha senso pensare attraverso il significato teorico di ogni parola
2. Non hai verificato la significatività variabile o non hai utilizzato i valori p, ma probabilmente hai optato per un set di controllo o una convalida incrociata per valutare le prestazioni predittive fuori dal campione. Questo può essere perfettamente valido se - tornando all'esempio dello spam via e-mail - se davvero tutto ciò che ti interessa è produrre un modello che preveda in modo efficace lo spam, anche se ciò comporta il costo di includere variabili che potrebbero non superare i tradizionali test di significatività.

Tuttavia, se il tuo modello è più destinato a spiegare che a prevedere, e controlli rigorosamente le ipotesi causali teoriche del tuo modello, ecc. Allora sì, è piuttosto sciocco chiamarlo apprendimento automatico.

Certo, qualsiasi risposta a questa domanda è più un'opinione che un fatto oggettivo, ma cercherò di esporre la mia logica perché penso che la risposta non sia mai . Qualsiasi cosiddetto esperto o istruttore di machine learning rivela la propria ignoranza solo rappresentando la regressione lineare in quanto tale.

La delimitazione delle discipline accademiche riguarda più la delimitazione delle comunità che i metodi. Le discipline scientifiche prendono continuamente in prestito metodi attraverso le discipline. Inoltre, nel diciannovesimo secolo (quando fu sviluppata la regressione lineare) e prima ancora, le discipline scientifiche non erano così chiaramente delineate come lo sono oggi. Quindi, in particolare quando i metodi sono stati sviluppati nel 19 ° secolo o prima, dovremmo stare attenti ad assegnarli a una particolare disciplina.

Detto questo, si può guardare alla storia di una disciplina e concludere ragionevolmente che particolari metodi "appartengono" a una disciplina o a un'altra. Nessuno direbbe oggi che il calcolo appartiene al campo della fisica, anche se Newton, che era uno degli inventori del calcolo, stava sicuramente provando ad applicare questo alla fisica. Il calcolo appartiene chiaramente alla disciplina della matematica, non alla fisica. Questo perché il calcolo è un metodo matematico generale che può essere utilizzato completamente al di fuori dei contesti di fisica.

Per lo stesso ragionamento, la regressione lineare appartiene alla disciplina della statistica, sebbene sia comunemente usata come semplice esempio di adattamento dei dati a un modello nel contesto dell'apprendimento automatico. Proprio come il calcolo può essere utilizzato al di fuori del contesto della fisica, la regressione lineare può (e viene) utilizzata al di fuori del contesto dell'apprendimento automatico.

Gli istruttori di apprendimento automatico sarebbero saggi nel sottolineare che la regressione lineare è in uso dalla fine del 19 ° secolo molto prima che la moderna nozione di apprendimento automatico fosse nata. Dovrebbero anche sottolineare che l'apprendimento automatico utilizza molti concetti di probabilità e statistica, nonché altre discipline (ad es. Teoria dell'informazione). Tuttavia, questi concetti non rappresentano essi stessi l'apprendimento automatico o un "algoritmo" di apprendimento automatico.

È la macchina, stupida!

Non sono né uno statistico né un esperto di Big Data (TM). Tuttavia, direi che la distinzione essenziale è che "l'apprendimento automatico" richiede "una macchina". In particolare, implica agenzia . Il risultato non sarà consumato tranquillamente da un essere umano. Piuttosto, il risultato sarà l'input di un ciclo chiuso in base al quale un sistema automatizzato migliora le sue prestazioni.

Sistema chiuso

Ciò è in linea con la risposta di Sean Easter, ma voglio solo sottolineare che nelle applicazioni commerciali, una macchina sta osservando i risultati e agendo su di essi . Un classico esempio è l'algoritmo CineMatch che era il bersaglio del Premio Netflix. Un essere umano potrebbe guardare l'output di CineMatch e apprendere interessanti funzionalità sugli spettatori di film. Ma non è per questo che esiste. Lo scopo di CineMatch è quello di fornire un meccanismo in base al quale i server Netflix possono suggerire film ai clienti che apprezzeranno. L'output del modello statistico va nel servizio di raccomandazione, che alla fine produce più input mentre i clienti valutano i film, alcuni dei quali sono stati selezionati su consiglio di CineMatch.

Sistema aperto

D'altra parte, se un ricercatore utilizza un algoritmo per produrre risultati statistici che sono mostrati in una presentazione ad altri umani, allora quel ricercatore non è decisamente impegnato nell'apprendimento automatico . Questo è, ovviamente, per me, l'apprendimento umano . L'analisi viene eseguita da una macchina, ma non è una macchina che sta facendo l' apprendimento di per sé. Ora, si tratta di "apprendimento automatico" nella misura in cui un cervello umano non ha sperimentato tutti gli input del campione e ha ottenuto i risultati statistici "biologicamente". Ma la definirei "statistica" perché questo è esattamente ciò che gli statistici hanno fatto da quando il campo è stato inventato.

Conclusione

Pertanto, risponderei a questa domanda chiedendo: "Chi consuma i risultati?" Se la risposta è: "umani", allora sono "statistiche". Se la risposta è: "software", allora è "apprendimento automatico". E quando diciamo che "il software consuma i risultati", non intendiamo che lo memorizza da qualche parte per un successivo recupero. Intendiamo che svolge un comportamento determinato dai risultati in un circuito chiuso .

Secondo me, si può parlare di apprendimento automatico quando una macchina è programmata per inferire i parametri di un modello usando alcuni dati.

Se una regressione lineare viene eseguita dalla macchina, si qualifica pertanto.

Se fatto a mano, non lo fa.

Le definizioni che dipendono dalla prevalenza di alcuni agenti (come Excel) o dal miglioramento iterativo (come suggerisce Sean Easter sopra), in qualche modo cercare di separarlo dalle statistiche o dipendere da cosa fare con i risultati si riveleranno incoerenti, secondo me.