Perché i coefficienti di regressione lineare e logistica non possono essere stimati usando lo stesso metodo?

Ho letto in un libro di apprendimento automatico che i parametri di regressione lineare possono essere stimati (tra gli altri metodi) mediante discesa del gradiente, mentre i parametri di regressione logistica sono generalmente stimati dalla stima della massima verosimiglianza.

È possibile spiegare a un principiante (me) perché abbiamo bisogno di metodi diversi per la regressione lineare / logistica. aka perché non MLE per regressione lineare e perché non discesa gradiente per regressione logistica?

Stai confondendo le mele con le arance. Va bene, perché sono entrambi deliziosi.

La stima della massima verosimiglianza riguarda ciò che minimizzi, la discesa gradiente riguarda il modo in cui la minimizzi.

Perché non MLE per regressione lineare?

In effetti, la regressione lineare viene risolta con la massima stima della probabilità. Il metodo standard "minimizza la somma degli errori al quadrato" è esattamente matematicamente equivalente alla stima della massima verosimiglianza usando una distribuzione normale condizionata.

Perché non scendere in pendenza per la regressione logistica?

È possibile risolvere totalmente la regressione logistica riducendo al minimo la funzione di probabilità utilizzando la discesa gradiente. In effetti è un ottimo esercizio e consiglierei a tutti di farlo almeno una volta.

La discesa gradiente non è tuttavia il metodo standard. Quel premio va ai minimi quadrati ripetutamente pesati / metodo di Newton , che è un miglioramento della discesa del gradiente che tiene conto anche della seconda derivata. Questo metodo ha solo proprietà molto migliori della discesa del gradiente, ma è più difficile da capire e implementare.