Calcolo del miglior sottoinsieme di predittori per la regressione lineare

Per la selezione dei predittori nella regressione lineare multivariata con predittori adatti , quali metodi sono disponibili per trovare un sottoinsieme "ottimale" dei predittori senza testare esplicitamente tutti i sottoinsiemi ? In "Applied Survival Analysis", Hosmer e Lemeshow fanno riferimento al metodo di Kuk, ma non riesco a trovare il documento originale. Qualcuno può descrivere questo metodo o, ancora meglio, una tecnica più moderna? Si possono assumere errori normalmente distribuiti.2 $p$$2^p$

Non ho mai sentito parlare del metodo di Kuk, ma l'argomento di tendenza in questi giorni è la minimizzazione di L1. La logica è che se si utilizza un termine di penalità del valore assoluto dei coefficienti di regressione, quelli non importanti dovrebbero andare a zero.

Queste tecniche hanno alcuni nomi divertenti: Lasso, LARS, selettore Dantzig. Puoi leggere gli articoli, ma un buon punto di partenza è Elements of Statistical Learning , Chapter 3.

Questo è un argomento enorme. Come accennato in precedenza, Hastie, Tibshirani e Friedman offrono una buona introduzione nel Ch3 di Elements of Statistical Learning.

Alcuni punti 1) Cosa intendi con "migliore" o "ottimale"? Ciò che è meglio in un certo senso potrebbe non esserlo in un altro. Due criteri comuni sono l'accuratezza predittiva (prevedere la variabile di risultato) e produrre stimatori imparziali dei coefficienti. Alcuni metodi, come la regressione del lasso e della cresta, producono inevitabilmente stimatori di coefficienti distorti.

2) La frase "migliori sottoinsiemi" può essere utilizzata in due sensi separati. Generalmente fare riferimento al miglior sottoinsieme tra tutti i predittori che ottimizza alcuni criteri di costruzione del modello. Più specificamente, può riferirsi all'algoritmo efficiente di Furnival e Wilson per trovare quel sottoinsieme tra un numero moderato (~ 50) di predittori lineari (Regressions by Jumps and Bounds. Technometrics, Vol. 16, No. 4 (Nov., 1974), pp. 499-51)

http://www.jstor.org/stable/1267601

Quello che ho imparato che in primo luogo usa il miglior approccio dei sottoinsiemi come strumento di screening, quindi le procedure di selezione graduale possono aiutarti finalmente a decidere quali modelli potrebbero essere i migliori modelli di sottoinsieme (in questo momento il numero di tali modelli è piuttosto piccolo da gestire). Se uno dei modelli soddisfa le condizioni del modello, fa un buon lavoro di riepilogo dell'andamento dei dati e, soprattutto, consente di rispondere alla domanda di ricerca, quindi si congratula con il lavoro svolto.