Qual è la relazione tra il punteggio GINI e il rapporto log-verosimiglianza

Sto studiando gli alberi di classificazione e regressione e una delle misure per la posizione divisa è il punteggio GINI.

Ora sono abituato a determinare la migliore posizione divisa quando il registro del rapporto di verosimiglianza degli stessi dati tra due distribuzioni è zero, il che significa che la probabilità di appartenenza è ugualmente probabile.

La mia intuizione dice che deve esserci una connessione di qualche tipo, che GINI deve avere una buona base in una teoria matematica dell'informazione (Shannon) ma non capisco GINI abbastanza bene da derivare la relazione da solo.

Domande:

Qual è la derivazione dei "primi principi" del punteggio di impurità GINI come misura per la scissione?
In che modo il punteggio GINI si collega al log del rapporto di verosimiglianza o ad altri fondamenti teorici dell'informazione (Shannon Entropy, pdf ed cross entropy fanno parte di quelli)?

Riferimenti:

L'entropia di Shannon è descritta come:

H (x) = Σ_{i} P (x_{i}) \log_{b} P (x_{i})

$H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

Estendendolo al caso multivariato otteniamo:

H (X, Y) = Σ_{x} Σ_{y} P (x, y) \log_{b} P (x, y)

$H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right)$

L'entropia condizionale è definita come segue:

\begin{aligned} H (X | Y) & = Σ_{y} p (x, y) \log_{b} \frac{p (x)}{p (x, y)} \\ or, \\ H (X | Y) & = H (X, Y) - H (Y) \end{aligned}

$\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} \newline &\text{or,} \newline H \left(X|Y \right) &= H \left(X,Y \right) - H \left(Y \right) \end{align}$

Il registro del rapporto di probabilità viene utilizzato per il rilevamento di modifiche improvvise e viene derivato utilizzando queste. (Non ho derivazioni davanti a me.)

Impurità GINI:

La forma generale di impurità GINI è $I = \sum_{i=1}^m f_{i} \cdot \left( 1-f_{i}\right)$

Pensieri:

La divisione viene effettuata su una misura di impurità. L'alta "purezza" è probabilmente la stessa della bassa entropia. L'approccio è probabilmente correlato alla minimizzazione dell'entropia.
È probabile che la presunta distribuzione della base sia uniforme, o possibilmente con agitando la mano, gaussiana. Probabilmente stanno facendo una miscela di distribuzioni.
Mi chiedo se la derivazione del grafico Shewhart può essere applicata qui?
L'impurità GINI sembra l'integrale della funzione di densità di probabilità per una distribuzione binomiale con 2 prove e un successo. $P(x=k)= \begin{pmatrix} 2\\ 1\end{pmatrix} p \left( 1-p \right)$

(Aggiuntivo)

La forma è anche coerente con una distribuzione beta-binomiale che è un coniugato precedente per una distribuzione ipergeometrica. I test ipergeometrici vengono spesso utilizzati per determinare quali campioni sono rappresentati sopra o sotto in un campione. C'è anche una relazione con l'esatto test di Fisher, qualunque esso sia (nota a se stesso, vai a saperne di più su questo).

Modifica: sospetto che esista una forma di GINI che funziona molto bene con la logica digitale e / o gli alberi rb. Spero di esplorarlo in un progetto di classe questo autunno.

— EngrStudent - Ripristina Monica
fonte

È problematico se rispondo alla mia domanda?

— EngrStudent - Ripristina Monica il

No, per niente. Se hai trovato quella che ritieni sia una risposta ragionevole, fai fuoco.

— gung - Ripristina Monica

@EngrStudent. bella domanda, ma il primo link fornito nella sezione riferimenti si riferisce al coefficiente Gini, che non ha nulla a che fare con la misura Gini utilizzata nel CARRELLO

— Antoine,

Per quanto riguarda l'indice Gini ho appena pubblicato una semplice interpretazione: stats.stackexchange.com/questions/308885/…

— Picaud Vincent

Risposte:

Userò la stessa notazione che ho usato qui: matematica dietro alberi di classificazione e regressione

Gini Gain e Information Gain ( ) sono entrambi criteri di scissione basati sull'impurità. L'unica differenza è nella funzione di impurità : $IG$ $I$

$\textit{Gini}: \mathit{Gini}(E) = 1 - \sum_{j=1}^{c}p_j^2$
$\textit{Entropy}: H(E) = -\sum_{j=1}^{c}p_j\log p_j$

In realtà sono valori particolari di una misura di entropia più generale (Entropia di Tsallis) parametrizzata in : $\beta$

H_{β} (E) = \frac{1}{β - 1} (1 - Σ_{j = 1}^{c} p_{j}^{β})

$H_\beta (E) = \frac{1}{\beta-1} \left( 1 - \sum_{j=1}^{c}p_j^\beta \right)$

$\textit{Gini}$ si ottiene con e con . $\beta = 2$ $H$ $\beta \rightarrow 1$

La probabilità logaritmica, chiamata anche -statistica, è una trasformazione lineare di Guadagno delle informazioni: $G$

sol statistica t = 2 \cdot | E | \cdot io sol

$G\text{-statistic} = 2 \cdot |E| \cdot IG$

A seconda della comunità (statistiche / data mining) le persone preferiscono una misura o l'altra (domanda correlata qui ). Potrebbero essere praticamente equivalenti nel processo di induzione dell'albero decisionale. La probabilità di log potrebbe dare punteggi più alti a partizioni bilanciate quando ci sono molte classi [Nota tecnica: alcune proprietà dei criteri di divisione. Breiman 1996].

Gini Gain può essere più bello perché non ha logaritmi e puoi trovare la forma chiusa per il suo valore atteso e la varianza sotto ipotesi di suddivisione casuale [Alin Dobra, Johannes Gehrke: Correzione del pregiudizio nella costruzione dell'albero di classificazione. ICML 2001: 90-97]. Non è facile ottenere informazioni (se sei interessato, vedi qui ).

— Simone
fonte

Buona domanda. Sfortunatamente non ho ancora abbastanza reputazione da votare o commentare, quindi rispondi invece!

Non ho molta familiarità con il test del rapporto, ma mi sembra che sia un formalismo utilizzato per confrontare la probabilità di dati derivanti da due (o più) diverse distribuzioni, mentre il coefficiente di Gini è una statistica riassuntiva di una singola distribuzione.

Un modo utile di pensare al coefficiente di Gini (IMO) è come l'area sotto la curva di Lorenz (correlata al cdf).

Potrebbe essere possibile equiparare l'entropia di Shannon a Gini usando la definizione fornita nel PO per entropia:

$H = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

e la definizione di Gini:

$G = 1 - \frac{1}{\mu}\Sigma_i P(x_i)(S_{i-1} + S_i)$ , dove

$S_i = \Sigma_{j=1}^i P(x_i)x_i$ (ovvero la media cumulativa fino a ). $x_i$

Tuttavia non sembra un compito facile!

— Gabriel
fonte

Un rapporto di verosimiglianza viene operato sugli stessi dati. Una delle distribuzioni può avere la stessa forma generale dell'altra, ma i suoi parametri sono stati adattati ai dati quando alcuni altri criteri erano veri. Ad esempio, è possibile avere una distribuzione i cui parametri descrivono una variazione del processo di produzione sana (non necessariamente gaussiana) e un'altra adatta ai valori del processo di produzione corrente, e operare entrambi sui valori del processo di produzione corrente confrontare il rapporto log-verosimiglianza con un valore di soglia che indica possibilità di escursione. Può essere confrontato con l'ideale.

— EngrStudent - Ripristina Monica il