Gradi di libertà di nel test di Hosmer-Lemeshow

La statistica del test per il test di Hosmer-Lemeshow (HLT) per la bontà di adattamento (GOF) di un modello di regressione logistica è definita come segue:

Il campione viene quindi suddiviso in decili, , per decile si calcolano le seguenti quantità:$d=10$$D_1, D_2, \dots , D_{d}$

• $O_{1d}=\displaystyle \sum_{i \in D_d} y_i$ , ovvero il numero osservato di casi positivi nel decile ;$D_d$
• $O_{0d}=\displaystyle \sum_{i \in D_d} (1-y_i)$ , ovvero il numero osservato di casi negativi nel decile ;$D_d$
• $E_{1d}=\displaystyle \sum_{i \in D_d} \hat{\pi}_i$ , ovvero il numero stimato di casi positivi nel decile $D_d$ ;
• $E_{0d}= \displaystyle \sum_{i \in D_d} (1-\hat{\pi}_i)$ , ovvero il numero stimato di casi negativi nel decile $D_d$ ;

dove $y_i$ è il risultato binario osservato per l' $i$ -esima osservazione e $\hat{\pi}_i$ la probabilità stimata per quell'osservazione.

Quindi la statistica del test viene quindi definita come:

$X^2 = \displaystyle \sum_{h=0}^{1} \sum_{g=1}^d \left( \frac{(O_{hg}-E_{hg})^2}{E_{hg}} \right)= \sum_{g=1}^d \left( \frac{ O_{1g} - n_g \hat{\pi}_g}{\sqrt{n_g (1-\hat{\pi}_g) \hat{\pi}_g}} \right)^2,$

dove $\hat{\pi}_g$ è la probabilità media stimata in decile $g$ lascia che $n_g$ sia il numero di società nel decile.

Secondo Hosmer-Lemeshow (vedi questo link ) questa statistica ha (in certe ipotesi) un $\chi^2$ di distribuzione con $(d-2)$ gradi di libertà .

D'altra parte , se definirei una tabella di contingenza con $d$ righe (corrispondenti ai decili) e 2 colonne (corrispondenti al risultato binario vero / falso), allora la statistica test per il test $\chi^2$ per questa tabella di contingenza sarebbe lo stesso $X^2$ sopra definito, tuttavia, nel caso della tabella di contingenza, questa statistica di prova è $\chi^2$ con $(d-1)(2-1)=d-1$ gradi di libertà . Quindi un grado di libertà in più !

Come si può spiegare questa differenza nel numero di gradi di libertà?

EDIT: aggiunte dopo aver letto i commenti:

@whuber

Dicono (vedi Hosmer DW, Lemeshow S. (1980), Un test di bontà di adattamento per il modello di regressione logistica multipla. Communications in Statistics, A10, 1043-1069 ) che esiste un teorema dimostrato da Moore e Spruill da cui ne consegue che se (1) i parametri sono stimati utilizzando le funzioni di probabilità per dati non raggruppati e (2) le frequenze nella tabella 2xg dipendono dai parametri stimati, vale a dire le celle sono casuali, non fisse, che quindi, in condizioni di regolarità appropriate, La statistica della bontà di adattamento sotto (1) e (2) è quella di un chi-quadrato centrale con la solita riduzione dei gradi di libertà dovuta ai parametri stimati più una somma di variabili chi-quadrato ponderate.

Quindi, se capisco bene il loro articolo, provano a trovare un'approssimazione per questo "termine di correzione" che, se lo capisco bene, è questa somma ponderata di variabili casuali chi-quadrate, e lo fanno facendo simulazioni, ma io devo ammettere che non capisco perfettamente cosa dicono lì, quindi la mia domanda; perché queste cellule sono casuali, in che modo influenza i gradi di libertà? Sarebbe diverso se aggiusto i bordi delle celle e quindi classifico le osservazioni in celle fisse in base al punteggio stimato, in tal caso le celle non sono casuali, sebbene il "contenuto" della cella sia?

@Frank Harell: non potrebbe essere che le "carenze" del test di Hosmer-Lemeshow che menzioni nei tuoi commenti qui sotto, siano solo una conseguenza dell'approssimazione della somma ponderata dei chi-quadrati ?

Hosmer DW, Lemeshow S. (1980), Un test di bontà di adattamento per il modello di regressione logistica multipla. Communications in Statistics, A10, 1043-1069 mostra che:

Se il modello è un modello di regressione logistica e i parametri sono stimati con la massima probabilità e i gruppi sono definiti sulle probabilità stimate, allora ritiene che sia asintoticamente (Hosmer, Lemeshow, 1980, p. 1052, Teorema 2).$p$$G$$X^2$$\chi^2(G-p-1)+\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

(Nota: le condizioni necessarie non sono esplicitamente nel Teorema 2 a pagina 1052 ma se si legge attentamente il documento e la prova, allora queste si aprono)

Il secondo termine deriva dal fatto che il raggruppamento si basa su quantità stimate - cioè casuali - (Hosmer, Lemeshow, 1980, p. 1051)$\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

Usando le simulazioni hanno mostrato che il secondo termine può essere (nei casi usati nella simulazione) approssimato da un (Hosmer, Lemeshow, 1980, p.1060)$\chi^2(p-1)$

Combinando questi due fatti si ottiene una somma di due variabili , una con gradi di libertà e una seconda con gradi di libertà o$\chi^2$$G-p-1$$p-1$$X^2 \sim \chi^2(G-p-1+p-1=G-2)$

Quindi la risposta alla domanda sta nel verificarsi del "termine chi-quadro ponderato" o nel fatto che i gruppi sono definiti usando probabilità stimate che sono esse stesse variabili casuali.

Vedi anche Hosmer Lemeshow (1980) Paper - Theorem 2

Il teorema a cui ti riferisci (la solita parte di riduzione "Solita riduzione dei gradi di libertà a causa di parametri stimati") è stato per lo più sostenuto da RA Fisher. In "Sull'interpretazione di Chi Square da Contingency Tables, and the Calculation of P" (1922) sosteneva di usare la regola e in "La bontà di adattamento delle formule di regressione" ( 1922) sostiene di ridurre i gradi di libertà del numero di parametri utilizzati nella regressione per ottenere valori attesi dai dati. (È interessante notare che le persone hanno abusato del test del chi-quadro, con gradi di libertà sbagliati, per più di venti anni dalla sua introduzione nel 1900)$(R-1) * (C-1)$

Il tuo caso è del secondo tipo (regressione) e non del primo tipo (tabella di contingenza) sebbene i due siano correlati in quanto restrizioni lineari sui parametri.

Poiché modellate i valori previsti, in base ai vostri valori osservati, e lo fate con un modello con due parametri, la riduzione "normale" dei gradi di libertà è due più uno (uno in più perché O_i deve riassumere un totale, che è un'altra restrizione lineare, e si finisce effettivamente con una riduzione di due, anziché tre, a causa della "inefficienza" dei valori previsti modellati).

$\chi^2$

$\chi^2$

$f(x_1,...,x_k) = \frac{e^{- \frac{1}{2}\chi^2} }{\sqrt{(2\pi)^k \vert \mathbf{\Sigma}\vert}}$

$\vert \mathbf{\Sigma}\vert$$\mathbf{x}$

$\chi^2 = (\mathbf{x}-\mathbf{\mu})^T \mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu})$$\mathbf{\Sigma}=\mathbf{I}$

$\chi^2$$P(\chi^2 > a)$

$\chi^2$

$\frac{O_i-E_i}{E_i}$

Usiamo la tabella

$O_{ij} = \begin{array}{cc} o_{11} & o_{12} \\ o_{21} & o_{22} \end{array}$

quindi se i valori previsti

$E_{ij} = \begin{array}{cc} e_{11} & e_{12} \\ e_{21} & e_{22} \end{array}$

$\sum \frac{o_{ij}-e_{ij}}{e_{ij}}$$e_{ij}$$o_{ij}$$o$$e$

$\begin{array}\\&(o_{11}-e_{11}) &=\\ &(o_{22}-e_{22}) &=\\ -&(o_{21}-e_{21}) &=\\ -&(o_{12}-e_{12}) &= o_{11} - \frac{(o_{11}+o_{12})(o_{11}+o_{21})}{(o_{11}+o_{12}+o_{21}+o_{22})} \end{array}$

$\chi^2$

$\beta_0$$\underline\beta$$o_i-e_i$$four$$p+1$

$o-e$$y_i$$\beta x_i$$\epsilon_i$$\epsilon_i$non può assumere alcun valore possibile! Vale a dire che sono ridotti dalla parte che proietta sul modello e da 1 dimensione più particolare per ciascun parametro nel modello.

Forse le seguenti immagini possono essere di aiuto

$B(n=60,p={1/6,2/6,3/6})$$N(\mu=n*p,\sigma^2=n*p*(1-p))$$\chi^2={1,2,6}$$\chi$$\int_0^a e^{-\frac{1}{2} \chi^2 }\chi^{d-1} d\chi$$\chi^{d-1}$$\chi$

L'immagine seguente può essere utilizzata per farsi un'idea della riduzione dimensionale in termini residui. Spiega il metodo di adattamento dei minimi quadrati in termini geometrici.

In blu hai delle misure. In rosso hai ciò che il modello consente. La misurazione spesso non è esattamente uguale al modello e presenta alcune deviazioni. Puoi considerarlo, geometricamente, come la distanza dal punto misurato alla superficie rossa.

$mu_1$$mu_2$$(1,1,1)$$(0,1,2)$

$\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix} = a \begin{bmatrix}1\\1\\1\end{bmatrix} + b \begin{bmatrix}0\\1\\2\end{bmatrix} + \begin{bmatrix}\epsilon_1\\\epsilon_2\\\epsilon_3\end{bmatrix}$

$(1,1,1)$$(0,1,2)$$x$$\epsilon$

Quindi questa differenza tra osservata e (modellata) prevista è una somma di vettori perpendicolari al vettore del modello (e questo spazio ha dimensione dello spazio totale meno il numero di vettori del modello).

Nel nostro semplice esempio. La dimensione totale è 3. Il modello ha 2 dimensioni. E l'errore ha una dimensione 1 (quindi non importa quale di quei punti blu prendi, le frecce verdi mostrano un singolo esempio, i termini di errore hanno sempre lo stesso rapporto, segui un singolo vettore).

Spero che questa spiegazione sia d'aiuto. Non è in alcun modo una prova rigorosa e ci sono alcuni trucchi algebrici speciali che devono essere risolti in queste rappresentazioni geometriche. Ma comunque mi piacciono queste due rappresentazioni geometriche. Quello per il trucco di Pearson di integrare il$\chi^2$ usando le coordinate sferiche e l'altro per visualizzare il metodo della somma dei minimi quadrati come proiezione su un piano (o span più grande).

Sono sempre stupito di come finiamo $\frac{o-e}{e}$, questo dal mio punto di vista non è banale poiché l'approssimazione normale di un binomio non è una idea di $e$ ma di $np(1-p)$e nel caso delle tabelle di contingenza puoi risolverlo facilmente ma nel caso della regressione o di altre restrizioni lineari non si risolve così facilmente mentre la letteratura è spesso molto facile nel sostenere che "funziona allo stesso modo per altri lineari restrizioni. (Un esempio interessante del problema. Se esegui il seguente test più volte 'lancia 2 volte 10 volte una moneta e registra solo i casi in cui la somma è 10', non otterrai la tipica distribuzione chi-quadro per questo " semplice "restrizione lineare)