Dimensione del campione per la regressione logistica?

Voglio fare un modello logistico dai miei dati del sondaggio. È un piccolo sondaggio di quattro colonie residenziali in cui sono stati intervistati solo 154 intervistati. La mia variabile dipendente è "transizione soddisfacente al lavoro". Ho scoperto che, tra i 154 intervistati, 73 hanno affermato di essere passati in modo soddisfacente al lavoro, mentre il resto no. Quindi la variabile dipendente è di natura binaria e ho deciso di utilizzare la regressione logistica. Ho sette variabili indipendenti (tre continue e quattro nominali). Una linea guida suggerisce che dovrebbero esserci 10 casi per ogni predittore / variabile indipendente (Agresti, 2007). Sulla base di queste linee guida, ritengo che sia corretto eseguire la regressione logistica.

Ho ragione? In caso contrario, fammi sapere come decidere il numero di variabili indipendenti?

Ci sono diversi problemi qui.

In genere, vogliamo determinare una dimensione minima del campione in modo da raggiungere un livello di potenza statistica minimamente accettabile . La dimensione del campione richiesta è una funzione di diversi fattori, principalmente l'entità dell'effetto che si desidera essere in grado di differenziare da 0 (o qualsiasi valore nullo che si sta utilizzando, ma 0 è il più comune) e la probabilità minima di cogliere quell'effetto voglio avere. Lavorando da questa prospettiva, la dimensione del campione è determinata da un'analisi di potenza.

Un'altra considerazione è la stabilità del tuo modello (come osserva @cbeleites). In sostanza, come rapporto di parametri stimati al numero di dati si avvicina a 1, proprio modello sarà saturo, e sarà necessariamente essere sovradattamento (a meno che non ci sia, infatti, non casualità nel sistema). La regola empirica del rapporto 1 a 10 deriva da questa prospettiva. Nota che avere un potere adeguato coprirà generalmente questa preoccupazione per te, ma non viceversa.

La regola da 1 a 10 proviene tuttavia dal mondo della regressione lineare ed è importante riconoscere che la regressione logistica ha complessità aggiuntive. Un problema è che la regressione logistica funziona meglio quando le percentuali di 1 e 0 sono circa del 50% / 50% (come discusso da @andrea e @psj nei commenti sopra). Un altro problema da considerare è la separazione . Cioè, non vuoi avere tutti i tuoi 1 raccolti su un estremo di una variabile indipendente (o una loro combinazione) e tutti gli 0 sull'altro estremo. Anche se questa sembrerebbe una buona situazione, perché renderebbe facile la previsione perfetta, in realtà fa esplodere il processo di stima dei parametri. (@Scortchi ha un'eccellente discussione su come affrontare la separazione nella regressione logistica qui:Come affrontare la perfetta separazione nella regressione logistica? ) Con più IV, questo diventa più probabile, anche se le vere dimensioni degli effetti sono mantenute costanti, e specialmente se le tue risposte sono sbilanciate. Pertanto, puoi facilmente avere bisogno di più di 10 dati per IV.

Un ultimo problema con quella regola empirica è che presume che i tuoi IV siano ortogonali . Questo è ragionevole per esperimenti progettati, ma con studi osservazionali come i tuoi, i tuoi IV non saranno quasi mai approssimativamente ortogonali. Esistono strategie per affrontare questa situazione (ad es. Combinando o rilasciando IV, conducendo prima un'analisi dei componenti principali, ecc.), Ma se non viene affrontato (cosa comune), avrai bisogno di più dati.

Una domanda ragionevole quindi, quale dovrebbe essere la tua N minima e / o la dimensione del tuo campione è sufficiente? Per risolvere questo problema, ti suggerisco di utilizzare i metodi discussi da @cbeleites; basarsi sulla regola da 1 a 10 sarà insufficiente.

In genere utilizzo una regola 15: 1 (rapporto tra min (eventi, non eventi) e numero di parametri candidati nel modello). Un lavoro più recente ha scoperto che per una validazione più rigorosa è necessario 20: 1. Maggiori informazioni possono essere trovate nei volantini del mio corso collegati da http://biostat.mc.vanderbilt.edu/rms , in particolare un argomento per una dimensione minima del campione di 96 solo per stimare l'intercetta. Ma il requisito della dimensione del campione è più sfumato e un documento ancora più recente affronta questo argomento in modo più completo.

Di solito, sono stati scritti pochi casi. la complessità del modello (numero di parametri) significa che i modelli sono instabili . Pertanto, se si desidera sapere se la complessità del modello / dimensione del campione è corretta, verificare se si ottiene un modello ragionevolmente stabile.

Esistono (almeno) due diversi tipi di instabilità:

1. I parametri del modello variano molto con solo lievi modifiche ai dati di allenamento.

2. Le previsioni (per lo stesso caso) di modelli addestrati con lievi modifiche ai dati di allenamento variano molto.

È possibile misurare 1. osservando quanto variano i coefficienti del modello se i dati di allenamento sono leggermente perturbati. È possibile calcolare un numero adeguato di modelli, ad esempio durante le procedure di bootstrap o (iterate) di convalida incrociata.

Per alcuni tipi di modelli o problemi, la variazione dei parametri non implica variazioni delle previsioni. È possibile verificare direttamente l'instabilità 2. osservando la variazione delle previsioni per lo stesso caso (indipendentemente dal fatto che siano corrette o meno) calcolate durante l'avvio non avviato o la convalida incrociata iterata.

Non esistono regole rigide, ma è possibile includere tutte le variabili indipendenti purché le variabili nominali non abbiano troppe categorie. È necessaria una "beta" per tutti tranne uno della classe per ogni variabile nominale. Quindi se una variabile nominale fosse "area di lavoro" e tu avessi 30 aree, avresti bisogno di 29 beta.

Un modo per ovviare a questo problema è di regolarizzare i beta - o penalizzare per grandi coefficienti. Ciò aiuta a garantire che il modello non si adatti eccessivamente ai dati. La regolarizzazione L2 e L1 sono scelte popolari.

Un altro problema da considerare è quanto sia rappresentativo il tuo campione. Di quale popolazione vuoi dedurre? hai tutti i diversi tipi di persone nel campione che c'è nella popolazione? sarà difficile dedurre con precisione se il campione presenta "buchi" (ad es. nessuna femmina di età compresa tra 35 e 50 nel campione o nessun lavoratore ad alto reddito ecc.)

Ecco la risposta effettiva dal sito Web MedCalc di cui ha scritto user41466

http://www.medcalc.org/manual/logistic_regression.php

Considerazioni sulla dimensione del campione

Il calcolo della dimensione del campione per la regressione logistica è un problema complesso, ma basato sul lavoro di Peduzzi et al. (1996) possono essere suggerite le seguenti linee guida per un numero minimo di casi da includere nel vostro studio. Sia p la più piccola delle proporzioni di casi negativi o positivi nella popolazione e k il numero di covariate (il numero di variabili indipendenti), quindi il numero minimo di casi da includere è: N = 10 k / p Ad esempio: tu hanno 3 covariate da includere nel modello e la percentuale di casi positivi nella popolazione è 0,20 (20%). Il numero minimo di casi richiesto è N = 10 x 3 / 0,20 = 150 Se il numero risultante è inferiore a 100, è necessario aumentarlo a 100 come suggerito da Long (1997).

Peduzzi P, Concato J, Kemper E, Holford TR, Feinstein AR (1996) Uno studio di simulazione del numero di eventi per variabile nell'analisi della regressione logistica. Journal of Clinical Epidemiology 49: 1373-1379.

I risultati di qualsiasi modello logistico con il numero di osservazioni per variabile indipendente che vanno da almeno cinque a nove sono affidabili, soprattutto se i risultati sono statisticamente significativi (Vittinghoff & McCulloch, 2007).

Vittinghoff, E., & McCulloch, CE 2007. Rilassamento della regola di dieci eventi per variabile nella regressione logistica e di Cox. American Journal of Epidemiology, 165 (6): 710–718.