Stima del modello esponenziale

10

Un modello esponenziale è un modello descritto dalla seguente equazione:

\hat{y_{i}} = β_{0} \cdot e^{β_{1} x_{1 i} + \dots + β_{k} x_{k i}}

$\hat{y_{i}}=\beta_{0}\cdot e^{\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}}$

L'approccio più comune utilizzato per stimare tale modello è la linearizzazione, che può essere eseguita facilmente calcolando i logaritmi di entrambi i lati. Quali sono gli altri approcci? Sono particolarmente interessato a quelli che possono gestire in alcune osservazioni. $y_{i}=0$

Aggiornamento 31.01.2011
Sono consapevole del fatto che questo modello non può produrre zero. Elaborerò un po 'quello che sto modellando e perché scelgo questo modello. Diciamo che vogliamo prevedere quanti soldi spende un cliente in un negozio. Naturalmente molti clienti stanno solo cercando e non comprano nulla, ecco perché ci sono 0. Non volevo usare il modello lineare perché produce molti valori negativi, il che non ha alcun senso. L'altra ragione è che questo modello funziona davvero bene, molto meglio di quello lineare. Ho usato l'algoritmo genetico per stimare quei parametri, quindi non era un approccio "scientifico". Ora vorrei sapere come affrontare il problema usando metodi più scientifici. Si può anche presumere che la maggior parte, o addirittura tutte, delle variabili siano variabili binarie.

estimation nonlinear-regression

— Tomek Tarczynski
fonte

1

se ci sono zero nei tuoi dati, la regressione esponenziale potrebbe non essere appropriata, dal momento che il modello come hai affermato non può consentire di osservare valori zero.

— mpiktas,

11

Ci sono diversi problemi qui.

(1) Il modello deve essere esplicitamente probabilistico . In quasi tutti i casi non ci sarà un insieme di parametri per i quali lhs corrisponde a rhs per tutti i tuoi dati: ci saranno residui. È necessario formulare ipotesi su tali residui. Ti aspetti che siano zero in media? Da distribuire simmetricamente? Da distribuire approssimativamente normalmente?

Qui ci sono due modelli che concordano con quello specificato ma consentono un comportamento residuo drasticamente diverso (e pertanto generano stime di parametri differenti). Puoi variare questi modelli variando ipotesi sulla distribuzione congiunta di : $\epsilon_{i}$

A: y_{i} = β_{0} \exp (β_{1} x_{1 i} + \dots + β_{k} x_{k i} + ϵ_{i})

$\text{A:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki} + \epsilon_{i}\right)}$

B: y_{i} = β_{0} \exp (β_{1} x_{1 i} + \dots + β_{k} x_{k i}) + ϵ_{i} .

$\text{B:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}\right)} + \epsilon_{i}.$

(Si noti che questi sono modelli per i dati ; di solito non esiste un valore di dati stimato .) $y_i$ $\hat{y_i}$

(2) La necessità di gestire valori zero per y implica che il modello dichiarato (A) è sia sbagliato che inadeguato , poiché non può produrre un valore zero indipendentemente dall'errore casuale. Il secondo modello sopra (B) consente valori zero (o addirittura negativi) di y. Tuttavia, non si dovrebbe scegliere un modello esclusivamente su tale base. Per ribadire # 1: è importante modellare gli errori ragionevolmente bene.

(3) La linearizzazione cambia il modello . In genere, risulta in modelli come (A) ma non come (B). È utilizzato da persone che hanno analizzato i loro dati abbastanza da sapere che questo cambiamento non influirà in modo sensibile sulle stime dei parametri e da persone che ignorano ciò che sta accadendo. (È difficile, molte volte, dire la differenza.)

(4) Un modo comune per gestire la possibilità di un valore zero è di proporre che (o una sua reespressione, come la radice quadrata) abbia una probabilità strettamente positiva di ugualmente zero. Matematicamente, stiamo mescolando una massa di punti (una "funzione delta") con un'altra distribuzione. Questi modelli si presentano così: $y$

\begin{aligned} f (y_{i}) & \sim F (θ); \\ θ_{j} & = β_{j 0} + β_{j 1} x_{1 i} + \dots + β_{j k} x_{k i} \end{aligned}

$\eqalign{ f(y_i) &\sim F(\mathbf{\theta}); \cr \theta_j &= \beta_{j0} + \beta_{j1} x_{1i} + \cdots + \beta_{jk} x_{ki} }$

dove è uno dei parametri impliciti nel vettore , è una famiglia di distribuzioni parametrizzate da , ed è la ri-espressione del 's (la funzione "link" di un modello lineare generalizzato: si veda la risposta del onestop). (Naturalmente, quindi, = quando ) Esempi sono i modelli Poisson zero e binomiali negativi . $\Pr_{F_\theta}[f(Y) = 0] = \theta_{j+1} \gt 0$ $\mathbf{\theta}$ $F$ $\theta_1, \ldots, \theta_j$ $f$ $y$ $\Pr_{F_\theta}[f(Y) \le t]$ $(1 - \theta_{j+1})F_\theta(t)$ $t \ne 0$

(5) Le questioni relative alla costruzione di un modello e al suo adattamento sono correlate ma diverse . Come semplice esempio, anche un normale modello di regressione può essere adattato in molti modi per mezzo di minimi quadrati (che forniscono le stesse stime dei parametri della massima verosimiglianza e quasi gli stessi errori standard), minimi quadrati ripetuti in modo iterativo , varie altre forme di " minimi quadrati robusti " , ecc. La scelta del montaggio si basa spesso su convenienza, convenienza ( ad es . disponibilità di software), familiarità, abitudine o convenzione, ma almeno alcuni pensieri dovrebbero essere dato a ciò che è appropriato per la presunta distribuzione dei termini di errore , a ciò che il $Y = \beta_0 + \beta_1 X + \epsilon$ $\epsilon_i$ la funzione di perdita per il problema potrebbe ragionevolmente essere e la possibilità di sfruttare informazioni aggiuntive (come una distribuzione preventiva per i parametri).

— whuber
fonte

10

Questo è un modello lineare generalizzato (GLM) con una funzione di collegamento log .

Qualsiasi distribuzione di probabilità su con densità diversa da zero a zero gestirà in alcune osservazioni; il più comune sarebbe la distribuzione di Poisson, con conseguente regressione di Poisson , alias modellazione log-lineare. Un'altra scelta sarebbe una distribuzione binomiale negativa . $[0,\infty)$ $y_i=0$

Se non si dispone di dati di conteggio o se accetta valori non interi, è comunque possibile utilizzare il framework di modelli lineari generalizzati senza specificare completamente una distribuzione per ma invece solo specificare la relazione tra la sua media e la varianza usando quasi-verosimiglianza . $y_i$ $\operatorname{P}(y_i|\bf{x})$

— una fermata
fonte

Peccato che non mi sia stato insegnato al riguardo all'università: / Sembra che sarà utile in questo caso, ma ho bisogno di un po 'di tempo per approfondire i dettagli. Grazie!

— Tomek Tarczynski,

Si noti che può sempre essere ridimensionato a valori interi quando è razionale, ad esempio misurare pence / centesimi anziché sterline / dollari. Anche se potresti voler arrotondare alla sterlina / dollaro più vicina comunque poiché la distribuzione della parte pence / centesimi del prezzo dei beni sarà probabilmente molto irregolare (cioè principalmente 99).

y_{i}

$y_i$

— James,

3

Puoi sempre usare i minimi quadrati non lineari . Quindi il tuo modello sarà:

y_{i} = β_{0} \exp (β_{1} x_{1 i} + . . . + β_{k} x_{k i}) + ε_{i}

$y_i=\beta_0\exp(\beta_1x_{1i}+...+\beta_kx_{ki})+\varepsilon_i$

Gli zeri in verranno quindi trattati come deviazioni dalla tendenza non lineare. $y_i$

— mpiktas
fonte

Che dire dei valori iniziali dei parametri? Qual è il buon modo per sceglierli? Come ho affermato in un aggiornamento, si può presumere che non vi siano variabili continue.

— Tomek Tarczynski,

@Tomek, penso che non ci sia un buon modo per sceglierli. Di solito dipende dai dati. Suggerisco media per l'intercetta e zero per altri coefficienti.

— mpiktas,