Regressione logistica multinomiale vs regressione logistica binaria one-vs-rest

Diciamo che abbiamo una variabile dipendente con poche categorie e un insieme di variabili indipendenti. $Y$

Quali sono i vantaggi della regressione logistica multinomiale rispetto a un insieme di regressioni logistiche binarie (ovvero schema one-vs-rest )? Per set di regressione logistica binaria intendo che per ogni categoria costruiamo un modello di regressione logistica binaria separato con target = 1 quando e 0 altrimenti. $y_{i} \in Y$ $Y=y_{i}$

logistic categorical-data multinomial

— Tomek Tarczynski
fonte

Matematicamente, un modello logit multinomiale è un insieme di modelli binit logit, tutti confrontati con un'alternativa di base. Ma poiché riesci a comprimere i parametri generici e forse a combinarne altri, l'MNL sarà sempre almeno altrettanto efficiente (e probabilmente anche di più). Non vedo alcun motivo per usare mai una serie di modelli binomiali.

— gregmacfarlane,

@gmacfarlane: ho provato a simulare dati in cui MNL sarebbe migliore di una serie di regressioni logistiche binarie, ma ogni volta in media la qualità era la stessa. Stavo confrontando i diagrammi di sollevamento e dopo aver calcolato la media dei risultati di alcune simulazioni sembravano quasi uguali. Forse hai idea di come generare dati in modo che MNL superi le regressioni logistiche binarie? Sebbene MNL avesse un grande vantaggio, i suoi punteggi potevano essere interpretati come probabilità.

— Tomek Tarczynski,

La regressione logistica multinomiale è l'estensione della regressione del logit binario. Viene utilizzato quando le variabili dipendenti dello studio sono tre e superiori, mentre il logit binario viene utilizzato quando le variabili dipendenti dello studio sono due.

Per il lettore: consiglio di iniziare dalla risposta di @ julieth e di dare seguito alla lettura di ttnphns '. Penso che il primo risponda più direttamente alla domanda originale ma il secondo aggiunge un contesto interessante. ttnphns mostra anche le diverse funzionalità che sono disponibili per entrambi in una popolare routine software, che potrebbe a sua volta costituire un motivo per usarne uno sopra l'altro (vedere la dichiarazione di gregmacfarlane).

— Ben Ogorek,

Risposte:

Se ha più di due categorie, la tua domanda sul "vantaggio" di una regressione rispetto all'altra è probabilmente priva di significato se miri a confrontare i parametri dei modelli , perché i modelli saranno sostanzialmente diversi: $Y$

per ognilogistica binariaregressione e $\bf log \frac{P(i)}{P(not~i)}=logit_i=linear~combination$ $i$

$\bf log \frac{P(i)}{P(r)}=logit_i=linear~combination$ per ogni categoria in multipla logistica di regressione, essendo la categoria di riferimento prescelto ( ). $i$ $r$ $i \ne r$

Tuttavia, se il vostro obiettivo è solo quello di prevedere la probabilità di ogni categoria entrambi gli approcci è giustificata, anche se si possono dare diverse stime di probabilità. La formula per stimare una probabilità è generica: $i$

$\bf P'(i)= \frac{exp(logit_i)}{exp(logit_i)+exp(logit_j)+\dots+exp(logit_r)}$ , dove sono tutte le categorie, e se stato scelto per essere quello di riferimento, è . Quindi, per la logistica binaria quella stessa formula diventa . La logistica multinomiale si basa sul presupposto (non sempre realistico) dell'indipendenza di alternative irrilevanti, mentre una serie di previsioni logistiche binarie no. $i,j,\dots,r$ $r$ $\bf exp(logit)=1$ $\bf P'(i)= \frac{exp(logit_i)}{exp(logit_i)+1}$

Un tema separato è quali sono le differenze tecniche tra regressioni logistiche multinomiali e binarie nel caso in cui sia dicotomico . Ci saranno differenze nei risultati? Il più delle volte in assenza di covariate i risultati saranno gli stessi, tuttavia ci sono differenze negli algoritmi e nelle opzioni di output. Vorrei solo citare la Guida di SPSS su tale problema in SPSS: $Y$

I modelli di regressione logistica binaria possono essere adattati utilizzando la procedura di regressione logistica o la procedura di regressione logistica multinomiale. Ogni procedura ha opzioni non disponibili nell'altra. Una distinzione teorica importante è che la procedura di regressione logistica produce tutte le previsioni, i residui, le statistiche sull'influenza e i test di bontà di adattamento utilizzando i dati a livello di singolo caso, indipendentemente dal modo in cui i dati vengono immessi e dal fatto che il numero di modelli di covariata sia o meno è inferiore al numero totale di casi, mentre la procedura di regressione logistica multinomiale aggrega internamente i casi per formare sottopopolazioni con identici schemi di covariata per i predittori, producendo previsioni, residui e test di bontà di adattamento basati su queste sottopopolazioni.

La regressione logistica offre le seguenti caratteristiche uniche:

• Test di Hosmer-Lemeshow sulla bontà di adattamento per il modello

• Analisi graduali

• Contrasti per definire la parametrizzazione del modello

• Punti di taglio alternativi per la classificazione

• Grafici di classificazione

• Modello montato su una serie di custodie su una serie di astucci

• Salva previsioni, residui e statistiche di influenza

La regressione logistica multinomiale offre le seguenti caratteristiche uniche:

• Test chi-quadrati di Pearson e devianza per la bontà di adattamento del modello

• Specifica delle sottopopolazioni per il raggruppamento di dati per i test di bontà di adattamento

• Elenco di conteggi, conteggi previsti e residui per sottopopolazioni

• Correzione delle stime di varianza per eccesso di dispersione

• Matrice di covarianza delle stime dei parametri

• Test di combinazioni lineari di parametri

• Specifica esplicita di modelli nidificati

• Adatta modelli di regressione logistica condizionale abbinati 1-1 utilizzando variabili differenziate

— ttnphns
fonte

So che questi modelli saranno diversi, ma non so quale sia meglio in quale situazione. Farò la domanda in un altro modo. Se ti è stato assegnato un compito: per ogni persona prevedere la probabilità che una società di telefonia mobile sia la preferita (supponiamo che ognuno abbia la compagnia di telefonia mobile preferita). Quale di questi metodi useresti e quali sono i vantaggi rispetto al secondo?

— Tomek Tarczynski,

@Tomek Ho ampliato un po 'la mia risposta

— ttnphns

Anche se penso che @ julieth sia la migliore risposta alla domanda originale dell'OP, ti devo debitore per l'introduzione dell'assunto di Indipendenza delle alternative irrilevanti. Una domanda che ho ancora è se la logistica separata la aggiri davvero; l'articolo di Wikipedia che hai collegato al probit citato e al "log nidificato" in quanto consente violazioni dell'AII

— Ben Ogorek,

Saresti in grado di spiegare come adattare i modelli con una scelta di categoria di riferimento? Per la categoria , utilizziamo solo un sottoinsieme dei dati nella categoria di riferimento oppure nella categoria , per ?

i

$i$

r

$r$

i

$i$

i \neq r

$i \neq r$

— user21359

A causa del titolo, presumo che "vantaggi della regressione logistica multipla" significhi "regressione multinomiale". Ci sono spesso vantaggi quando il modello è adattato contemporaneamente. Questa particolare situazione è descritta in Agresti (Categorical Data Analysis, 2002) pag. 273. In breve (parafrasando Agresti), ci si aspetta che le stime di un modello comune siano diverse da un modello stratificato. I modelli logistici separati tendono ad avere errori standard più grandi, sebbene potrebbe non essere così grave quando il livello più frequente del risultato è impostato come livello di riferimento.

— Julieth
fonte

Grazie! Proverò a trovare questo libro, sfortunatamente google.books fornisce contenuti solo fino a pagina 268.

— Tomek Tarczynski

@TomekTarczynski Ho riassunto le informazioni rilevanti dal paragrafo, quindi potresti non avere più informazioni relative a questa domanda guardando il libro (anche se il libro è fantastico, quindi otterrai altre buone informazioni).

— luglio

Citazione dal libro Agresti: "Le stime di adattamento separato differiscono dalle stime ML per l'adattamento simultaneo dei logit J-1. Sono meno efficienti, tendendo ad avere errori standard più grandi. Tuttavia, Begg e Gray 1984 hanno mostrato che la perdita di efficienza è minore quando la categoria di risposta con prevalenza più elevata è la linea di base ".

— Franck Dernoncourt,