Rilevamento di predittori significativi tra molte variabili indipendenti

In un set di dati di due popolazioni non sovrapposte (pazienti e sani, totale ), vorrei trovare (su variabili indipendenti) predittori significativi per una variabile dipendente continua. La correlazione tra predittori è presente. Sono interessato a scoprire se qualcuno dei predittori è correlato alla variabile dipendente "in realtà" (piuttosto che prevedere la variabile dipendente il più esattamente possibile). Dato che sono stato sopraffatto dai numerosi possibili approcci, vorrei chiedere quale approccio sia maggiormente raccomandato.$n=60$$300$

• Dalla mia comprensione l'inclusione graduale o l'esclusione dei predittori non è raccomandata

• Ad esempio eseguire una regressione lineare separatamente per ogni predittore e correggere i valori p per il confronto multiplo utilizzando FDR (probabilmente molto conservativo?)

• Regressione dei componenti principali: difficile da interpretare in quanto non sarò in grado di parlare del potere predittivo dei singoli predittori, ma solo dei componenti.

• altri suggerimenti?

Consiglierei di provare un glm con la regolarizzazione del lazo . Ciò aggiunge una penalità al modello per il numero di variabili e quando si aumenta la penalità, il numero di variabili nel modello diminuirà.

È necessario utilizzare la convalida incrociata per selezionare il valore del parametro di penalità. Se hai R, ti suggerisco di usare il pacchetto glmnet . Utilizzare alpha=1per la regressione del lazo e alpha=0per la regressione della cresta. L'impostazione di un valore compreso tra 0 e 1 utilizzerà una combinazione di penalità del lazo e della cresta, nota anche come rete elastica.

Per espandere la risposta di Zach (+1), se si utilizza il metodo LASSO in regressione lineare, si sta tentando di ridurre al minimo la somma di una funzione quadratica e una funzione di valore assoluto, ovvero:

La prima parte è quadratica in (oro sotto) e la seconda è una curva quadrata (verde sotto). La linea nera è la linea di intersezione. $\beta$

Il minimo si trova sulla curva di intersezione, qui tracciata con le curve di contorno della curva quadratica e quadrata:

Puoi vedere che il minimo è su uno degli assi, quindi ha eliminato quella variabile dalla regressione.

Puoi controllare il mio post sul blog sull'utilizzo delle penalità per la regressione e la selezione delle variabili (altrimenti noto come regolarizzazione del lazo). $L1$

Qual è la tua precedente convinzione su quanti predittori saranno probabilmente importanti? È probabile che la maggior parte di essi abbia un effetto esattamente zero o che tutto influisca sul risultato, alcune variabili solo meno di altre?

E in che modo lo stato di salute è correlato all'attività predittiva?

Se ritieni che siano importanti solo poche variabili, puoi provare lo spike e il slab precedenti (nel pacchetto spikeSlabGAM di R, per esempio), o L1. Se pensi che tutti i predittori influenzino il risultato, potresti essere sfortunato.

E in generale, si applicano tutte le avvertenze relative all'inferenza causale dai dati osservativi.

Qualunque cosa tu faccia, vale la pena ottenere intervalli di confidenza bootstrap sui gradi di importanza dei predittori per dimostrare che puoi davvero farlo con il tuo set di dati. Sono dubbioso che uno qualsiasi dei metodi possa trovare in modo affidabile i "veri" predittori.

Ricordo che la regressione di Lasso non funziona molto bene quando , ma non ne sono sicuro. Penso che in questo caso Elastic Net sia più appropriato per la selezione delle variabili.$n \leq p$