Differenze tra regressione logistica e percetrons

A quanto ho capito, una rete neurale artificiale perceptron / singolo strato con una funzione di attivazione sigmoidea logistica è lo stesso modello della regressione logistica. Entrambi i modelli sono dati dall'equazione:

$F(x) = \frac{1}{1-e^{-\beta X}}$

L'algoritmo di apprendimento perctron è online e guidato da errori, mentre i parametri per la regressione logistica potrebbero essere appresi utilizzando una varietà di algoritmi batch, tra cui discesa del gradiente e BFGS a memoria limitata, o un algoritmo online, come la discesa del gradiente stocastico. Ci sono altre differenze tra la regressione logistica e un perceptron sigmoideo? I risultati di un regressore logistico addestrato con discesa gradiente stocastica dovrebbero essere simili al percettrone?

Hai già menzionato le differenze importanti. Quindi i risultati non dovrebbero differire molto.

Credo che una differenza che ti manca sia il fatto che la regressione logistica restituisce una probabilità di classificazione di principio mentre i percettroni si classificano con un limite rigido.

Questo è menzionato nell'articolo Wiki sulla regressione logistica multinomiale .

In realtà c'è una grande differenza sostanziale, che è correlata alle differenze tecniche che hai citato. La regressione logistica modella una funzione della media di una distribuzione di Bernoulli come un'equazione lineare (la media è uguale alla probabilità p di un evento di Bernoulli). Usando il collegamento logit in funzione della media ( p ), il logaritmo delle probabilità (log-odds) può essere derivato analiticamente e usato come risposta di un cosiddetto modello lineare generalizzato. La stima dei parametri su questo GLM è quindi un processo statistico che produce valori p e intervalli di confidenza per i parametri del modello. Oltre alla previsione, ciò consente di interpretare il modello in inferenza causale. Questo è qualcosa che non puoi ottenere con un Perceptron lineare.

Il Perceptron è un processo di reverse engineering di regressione logistica: invece di prendere il logit di y, prende la funzione logit inversa di wx e non usa ipotesi probabilistiche né per il modello né per la sua stima dei parametri. La formazione online ti fornirà esattamente le stesse stime per i pesi / parametri del modello, ma non sarai in grado di interpretarli nell'inferenza causale a causa della mancanza di valori p, intervalli di confidenza e, bene, un modello di probabilità sottostante.

Per farla breve, la regressione logistica è un GLM in grado di eseguire previsioni e deduzioni, mentre il Perceptron lineare può ottenere solo previsioni (nel qual caso eseguirà le stesse regressioni logistiche). La differenza tra i due è anche la differenza fondamentale tra modellistica statistica e apprendimento automatico.