Perché la regressione logistica è chiamata algoritmo di apprendimento automatico?

Se ho capito bene, in un algoritmo di apprendimento automatico, il modello deve imparare dalla sua esperienza, ovvero quando il modello fornisce una previsione errata per i nuovi casi, deve adattarsi alle nuove osservazioni e, nel tempo, il modello diventa sempre più migliore . Non vedo che la regressione logistica abbia questa caratteristica. Quindi perché è ancora considerato un algoritmo di apprendimento automatico? Qual è la differenza tra la regressione logistica e la normale regressione in termini di "apprendimento"?

Ho la stessa domanda per le foreste casuali!

E qual è la definizione di "apprendimento automatico"?

L'apprendimento automatico non è un termine ben definito.

In effetti, se la "Definizione dell'apprendimento automatico" di Google, le prime due cose che ottieni sono abbastanza diverse.

Da WhatIs.com ,

L'apprendimento automatico è un tipo di intelligenza artificiale (AI) che fornisce ai computer la capacità di apprendere senza essere esplicitamente programmati. L'apprendimento automatico si concentra sullo sviluppo di programmi per computer che possono insegnare a se stessi a crescere e cambiare quando esposti a nuovi dati.

Da Wikipedia ,

L'apprendimento automatico esplora la costruzione e lo studio di algoritmi che possono apprendere e fare previsioni sui dati.

La regressione logistica si adatta indubbiamente alla definizione di Wikipedia e si potrebbe discutere se si adatta o meno alla definizione di WhatIs.

Definisco personalmente l'apprendimento automatico proprio come fa Wikipedia e lo considero un sottoinsieme di statistiche.

L'apprendimento automatico è caldo ed è dove sono i soldi. Le persone chiamano cose che stanno cercando di vendere ciò che è caldo in questo momento e quindi "vende". Questo può vendere software. Può vendersi come impiegati attuali che cercano di essere promossi, come potenziali impiegati, come consulenti, ecc. Che può essere un manager che cerca di ottenere l'approvazione del budget da una società bigwig per assumere persone e comprare cose o per convincere gli investitori a investire in la sua nuova hot startup che fa di Machine Learning la chiave per creare un'app sexting migliorata. Quindi il software fa Machine Learning e le persone sono esperti di Machine Learning, perché questo è ciò che è caldo e quindi ciò che vende ... almeno per ora.

Ho fatto tutti i tipi di modelli statistici lineari e non lineari adattandoli più di 30 anni fa. Allora non si chiamava Machine Learning. Ora, la maggior parte sarebbe.

Proprio come tutti e suo zio sono ora uno "scienziato" di dati. È caldo, è presumibilmente sexy, quindi è quello che le persone si definiscono. Ed è quello che assumono i manager che devono ottenere l'approvazione del budget per assumere posizioni nell'elenco di qualcuno. Quindi qualcuno che non conosce la prima cosa su matematica, probabilità, statistica, ottimizzazione o calcolo numerico / in virgola mobile, utilizza un pacchetto R o Python di dubbia correttezza e solidità dell'implementazione, che è etichettato come algoritmo di Machine Learning, applicare ai dati che non comprendono e definirsi un Data Scientist in base alla loro esperienza nel farlo.

Questo può sembrare irriverente, ma credo che sia l'essenza della situazione.

Modificare: segue è stato twittato il 26 settembre 2019:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten "Quando raccogliamo denaro è AI, quando assumiamo è machine learning, e quando facciamo il lavoro è regressione logistica."

(Non sono sicuro di chi sia venuto fuori con questo, ma è una gemma 💎)

Come altri hanno già detto, non esiste una chiara separazione tra statistica, apprendimento automatico, intelligenza artificiale e così via, quindi prendi qualsiasi definizione con un pizzico di sale. La regressione logistica è probabilmente più spesso etichettata come statistica piuttosto che come apprendimento automatico, mentre le reti neurali sono in genere etichettate come apprendimento automatico (anche se le reti neurali sono spesso solo una raccolta di modelli di regressione logistica).

A mio avviso, l'apprendimento automatico studia metodi che possono in qualche modo imparare dai dati, in genere costruendo un modello in qualche forma o forma. La regressione logistica, come SVM, reti neurali, foreste casuali e molte altre tecniche, impara dai dati durante la costruzione del modello.

Se ho capito bene, in un algoritmo di Machine Learning, il modello deve imparare dalla sua esperienza

Non è proprio così che viene generalmente definito l'apprendimento automatico. Non tutti i metodi di apprendimento automatico producono modelli che si adattano dinamicamente a nuovi dati (questo sottocampo si chiama apprendimento online ).

Qual è la differenza tra la regressione logistica e la normale regressione in termini di "apprendimento"?

Molti metodi di regressione sono anche classificati come apprendimento automatico (ad es. SVM).

La regressione logistica è stata inventata dallo statistico DR Cox nel 1958 e quindi precede il campo dell'apprendimento automatico. La regressione logistica non è un metodo di classificazione, grazie al cielo. È un modello di probabilità diretto.

Se pensi che un algoritmo debba avere due fasi (ipotesi iniziale, quindi "correggere" gli errori "di predizione"), considera questo: la regressione logistica lo fa bene la prima volta. Cioè, nello spazio dei modelli additivi (nel logit). La regressione logistica è un diretto concorrente di molti metodi di apprendimento automatico e supera molti di essi quando i predittori agiscono principalmente in modo additivo (o quando la conoscenza della materia predispone correttamente le interazioni). Alcuni definiscono la regressione logistica un tipo di apprendimento automatico, ma la maggior parte no. Potresti chiamare alcuni metodi statistici di apprendimento automatico (le reti neurali sono esempi).

Dovrò essere in disaccordo con la maggior parte delle risposte qui e affermare che Machine Learningha una portata molto precisa e una netta distinzione dalle statistiche. ML è un sottocampo dell'informatica con una lunga storia, che solo negli ultimi anni ha trovato applicazioni al di fuori del suo dominio. Il campo paterno e il dominio applicativo di ML si trovano all'interno dell'intelligenza artificiale (robotica, software di riconoscimento dei modelli, ecc.), Pertanto, non è solo un "termine" come "Big Data" o "Data Science". La statistica, invece, (che deriva dalla parola "stato") è stata sviluppata all'interno delle scienze sociali ed economiche come uno strumento per l'uomo, non per le macchine. La ML si è evoluta separatamente dalle statistiche e, sebbene da qualche parte lungo il modo in cui ha iniziato a fare molto affidamento sui principi statistici, non è affatto un sottocampo delle statistiche. ML e statistiche sono campi complementari, non sovrapposti.

Risposta lunga :

Come implica il suo nome, sono stati realizzati metodi ML per software / macchine, mentre sono stati realizzati metodi statistici per l'uomo. Sia la ML che la statistica si occupano delle previsioni sui dati, tuttavia, i metodi ML seguono un approccio automatizzato non parametrico, mentre i metodi statistici richiedono molto lavoro manuale di costruzione di modelli con un ulteriore fattore esplicativo. Ciò ha perfettamente senso se si considera che gli algoritmi ML sono stati sviluppati nella ricerca sull'IA come mezzo di previsione automatizzata che doveva essere integrata nel software di robotica (ad esempio ai fini del riconoscimento vocale e del volto). Quando una "macchina" fa una previsione, non gliene importa nulla dei motivi. A una macchina non interessa conoscere i driver / predittori alla base di un modello che classifica le e-mail come spam o non-spam, si preoccupa solo di avere la migliore precisione di previsione.scatole nere , non è perché non hanno un modello, è perché il modello è costruito in modo algoritmico e non è pensato per essere visibile né all'uomo né alla macchina.

Il concetto di "formazione" in ML si basa sul potere computazionale, mentre la costruzione di modelli statistici con metodi di tipo OLS per la stima dei parametri si basa sulla conoscenza di un esperto umano. In uno scenario di regressione multipla, spetta allo statistico utilizzare il proprio giudizio di esperti per scegliere il suo modello e verificare tutti i presupposti statistici richiesti. L'obiettivo di uno statistico non è solo quello di trovare modelli e usarli per le previsioni, ma anche di comprendere i suoi dati e il suo problema in una profondità molto maggiore rispetto a ML.

Ovviamente in alcune occasioni ML e statistiche si sovrappongono, come nel caso di molte discipline. La regressione logistica è una di queste occasioni; originariamente un metodo statistico, che assomiglia così tanto al semplice Perceptron (una delle tecniche ML fondamentali), che per alcuni è visto come un metodo ML.

L'apprendimento automatico è definito in modo abbastanza approssimativo e hai ragione nel pensare che i modelli di regressione - e non solo quelli di regressione logistica - anche "apprendono" dai dati. Non sono davvero sicuro se questo significhi che l'apprendimento automatico è davvero statistica o la statistica è davvero apprendimento automatico - o se qualcosa di tutto ciò conta.

Tuttavia, non credo sia necessario che un algoritmo apprenda ripetutamente dai suoi errori. La maggior parte dei metodi usa un set di addestramento per calcolare alcuni parametri e quindi usa questi parametri fissi per fare previsioni su alcuni dati di test aggiuntivi. Il processo di formazione può comportare l'aggiornamento ripetuto dei parametri (come in backpropagation), ma non necessariamente ($k$- i vicini più vicini non fanno nulla durante l'allenamento!). In ogni caso, al momento del test, potresti non avere nemmeno accesso ai dati di verità.

Detto questo, alcuni algoritmi imparano dagli errori di predizione - questo è particolarmente comune in rinforzo , in cui un agente prende alcune azioni, ne osserva i risultati e quindi usa i risultati per pianificare azioni future. Ad esempio, un vuoto robotico potrebbe iniziare con un modello del mondo in cui pulisce tutte le posizioni allo stesso modo spesso, e quindi imparare a aspirare i luoghi sporchi (dove viene "ricompensato" trovando lo sporco) di più e pulire i luoghi di meno.

Gli algoritmi online o incrementali possono essere ripetutamente aggiornati con nuovi dati di allenamento. Ciò non dipende necessariamente dall'accuratezza della previsione del modello, ma potrei immaginare un algoritmo in cui i pesi vengono aggiornati in modo più aggressivo se, ad esempio, i nuovi dati sembrano molto improbabili rispetto al modello attuale. Esistono versioni online per la regressione logistica: ad esempio, McMahan e Streeeter (2012) .

Alla fine l'ho capito. Ora conosco la differenza tra adattamento del modello statistico e apprendimento automatico.

• Se si adatta un modello (regressione), si tratta di adattamento del modello statistico
• Se impari un modello (regressione), questo è l'apprendimento automatico

Quindi, se impari una regressione logistica, questo è un algoritmo di apprendimento automatico.

Commento: Scusatemi per essere un vecchio geezer, ma ogni volta che sento persone che parlano dell'apprendimento di un modello o dell'apprendimento di una regressione, mi viene in mente Jethro "Ho imparato un'educazione".

FINE DEL FILO

La regressione logistica (e più in generale GLM) NON appartiene all'apprendimento automatico! Piuttosto, questi metodi appartengono alla modellazione parametrica .

Sia parametrico che algoritmico modelli (ML) utilizzano i dati, ma in modi diversi . I modelli algoritmici apprendono dai dati come i predittori mappano al predittore, ma non fanno alcuna ipotesi sul processo che ha generato le osservazioni (né qualsiasi altra ipotesi, in realtà). Considerano che le relazioni sottostanti tra le variabili di input e output sono complesse e sconosciute e, quindi, adottano un approccio basato sui dati per capire cosa sta succedendo, piuttosto che imporre un'equazione formale.

D'altro canto, modelli parametrici sono prescritti a priori sulla base di una certa conoscenza del processo studiato, usano i dati per stimare i loro parametri e fanno molte ipotesi non realistiche che raramente valgono in pratica (come l'indipendenza, la varianza uguale e Distribuzione normale degli errori).

Inoltre, i modelli parametrici (come la regressione logistica) sono modelli globali . Non possono acquisire modelli locali nei dati (a differenza dei metodi ML che utilizzano gli alberi come modelli di base, ad esempio RF o Boosted Trees). Vedi questo articolo a pagina 5. Come strategia di riparazione, è possibile utilizzare GLM locale (cioè non parametrico) (vedere ad esempio il pacchetto locfit R).

Spesso, quando sono disponibili poche conoscenze sul fenomeno di base, è meglio adottare un approccio basato sui dati e utilizzare la modellistica algoritmica. Ad esempio, se si utilizza la regressione logistica in un caso in cui l'interazione tra le variabili di input e output non è lineare, il modello sarà chiaramente inadeguato e molti segnali non verranno acquisiti. Tuttavia, quando il processo è ben compreso, i modelli parametrici hanno il vantaggio di fornire un'equazione formale per riassumere tutto, che è potente da un punto di vista teorico.

Per una discussione più dettagliata, leggi questo eccellente documento di Leo Breiman.

Penso che le altre risposte facciano un buon lavoro nell'identificare più o meno cos'è l'apprendimento automatico (come indicano, può essere una cosa confusa). Aggiungerò che la regressione logistica (e la sua versione multinomiale più generale) è molto comunemente usata come mezzo per eseguire la classificazione nelle reti neurali artificiali (che penso siano inequivocabilmente coperte da qualsiasi definizione di apprendimento automatico ragionevole che si sceglie), e quindi se si menziona Regressione logistica verso una persona neurale netta, è probabile che la pensino immediatamente in questo contesto. Essere legato a un forte battitore nell'apprendimento automatico è un buon modo per diventare tu stesso una tecnica di apprendimento automatico, e penso che in qualche modo sia quello che è successo con varie tecniche di regressione, anche se non le escluderei dall'essere tecniche di apprendimento automatico adeguate in se stessi.

Penso che qualsiasi procedura "iterativa" possa essere considerata un caso di apprendimento automatico. La regressione può essere considerata apprendimento automatico. Potremmo farlo a mano, ma ci vorrebbe molto tempo, se possibile. Quindi ora abbiamo questi programmi, macchine, che fanno le iterazioni per noi. Si avvicina sempre di più a una soluzione, o alla migliore soluzione o alla migliore soluzione. Pertanto, "apprendimento automatico". Naturalmente cose come le reti neurali attirano la maggior parte dell'attenzione sull'apprendimento automatico, quindi di solito associamo l'apprendimento automatico a queste procedure sexy. Inoltre, la differenza tra l'apprendimento automatico "supervisionato" e "non supervisionato" è rilevante qui

È un errore molto comune che molte persone fanno e posso vederlo anche qui (fatto da quasi tutti). Lascia che lo spieghi in dettaglio ... Regressione logistica e modello di regressione lineare, entrambi sono modello parametrico e tecnica di apprendimento automatico. Dipende solo dal metodo che si sta utilizzando per stimare i parametri del modello (theta). Esistono 2 modi per trovare i parametri del modello in Regressione lineare e Reg. Logistico.

1. Tecnica di discesa a gradiente : qui iniziamo assegnando valori casuali ai parametri e troviamo la funzione di costo (errore). In ogni iterazione aggiorniamo i nostri parametri e minimizziamo la funzione di costo. Dopo un certo numero di iterazioni, la funzione di costo ridotta ai valori desiderati e i valori dei parametri corrispondenti sono i nostri valori finali. Questo è ciò che dovrebbe fare una tecnica di apprendimento automatico. Pertanto, se si utilizza la tecnica Discesa gradiente, la regressione logistica può essere definita come una tecnica di apprendimento automatico.

2. Usando il metodo del minimo quadrato: qui abbiamo una formula diretta per trovare i nostri parametri (è necessaria una certa algebra di matrice per comprendere la derivazione di questa formula) che è conosciuta come equazione normale.

Qui b rappresenta i parametri X è Matrix design. Entrambi i metodi hanno i loro vantaggi e limiti. Per maggiori dettagli: segui il corso di Machine Learning coursera ancora in corso.

Spero che questo post possa essere utile .. :-)