La maggior parte delle procedure di stima prevede la ricerca di parametri che minimizzano (o massimizzano) alcune funzioni oggettive. Ad esempio, con OLS, minimizziamo la somma dei residui quadrati. Con la stima della massima verosimiglianza, massimizziamo la funzione di verosimiglianza. La differenza è banale: la minimizzazione può essere convertita in massimizzazione usando il negativo della funzione obiettivo.
A volte questo problema può essere risolto algebricamente, producendo una soluzione a forma chiusa. Con OLS, risolvi il sistema delle condizioni del primo ordine e ottieni la formula familiare (anche se probabilmente hai ancora bisogno di un computer per valutare la risposta). In altri casi, ciò non è matematicamente possibile ed è necessario cercare i valori dei parametri utilizzando un computer. In questo caso, il computer e l'algoritmo svolgono un ruolo più importante. I minimi quadrati non lineari sono un esempio. Non ottieni una formula esplicita; tutto ciò che ottieni è una ricetta che devi implementare al computer. La ricetta potrebbe iniziare con un'ipotesi iniziale di quali potrebbero essere i parametri e come potrebbero variare. Quindi prova varie combinazioni di parametri e vedi quale ti dà il valore di funzione obiettivo più basso / più alto. Questo è l'approccio della forza bruta e richiede molto tempo. Per esempio,105 combinazioni, e questo ti mette semplicemente nelle vicinanze della risposta giusta se sei fortunato. Questo approccio si chiama ricerca in griglia.
Oppure potresti iniziare con un'ipotesi e perfezionarla in qualche direzione fino a quando i miglioramenti nella funzione obiettivo non sono inferiori a qualche valore. Questi sono di solito chiamati metodi a gradiente (sebbene ce ne siano altri che non usano il gradiente per scegliere in quale direzione andare, come algoritmi genetici e ricottura simulata). Alcuni problemi come questo ti garantiscono di trovare rapidamente la risposta giusta (funzioni dell'obiettivo quadratico). Altri non danno tale garanzia. Potresti preoccuparti di esserti bloccato in un locale, piuttosto che in un globale, ottimale, quindi prova una serie di ipotesi iniziali. Potresti scoprire che parametri selvaggiamente diversi ti danno lo stesso valore della funzione obiettivo, quindi non sai quale set scegliere.
Ecco un bel modo per ottenere l'intuizione. Supponiamo di avere un semplice modello di regressione esponenziale in cui l'unico regressore è l'intercettazione:
E[ y] = exp{ α }
La funzione obiettivo è
QN( α ) = - 12 NΣioN( yio- exp{ α } )2
Con questo semplice problema, entrambi gli approcci sono fattibili. La soluzione in formato chiuso che si ottiene prendendo la derivata è . Puoi anche verificare che qualsiasi altra cosa ti dia un valore più alto della funzione obiettivo collegando invece . Se hai avuto dei regressori, la soluzione analitica esce dalla finestra. ln ( ˉ y + k )α*= lny¯ln( y¯+ k )