Test di permutazione casuale per la selezione delle caratteristiche

Sono confuso sull'analisi delle permutazioni per la selezione delle caratteristiche in un contesto di regressione logistica.
Potresti fornire una chiara spiegazione del test di permutazione casuale e come si applica alla selezione delle funzionalità? Forse con algoritmo esatto ed esempi.

Infine, come si confronta con altri metodi di restringimento come Lasso o LAR?

— ugo
fonte

Intendi qualcosa come, ad esempio, in cui sono permutate le voci di una singola colonna della matrice del disegno, mantenendo fisse la risposta e altre covariate? Se hai un riferimento particolare che stai utilizzando, potrebbe essere utile elencarlo.

— cardinale il

Penso che questo link citeseerx.ist.psu.edu/viewdoc/… si riferisca alla tecnica giusta. Attualmente sto cercando di tornare in contatto con il docente che mi ha parlato di questo metodo ...

— Ugo,

Non è riuscito a tornare in contatto con lui (Donald Geman)

— Ugo

ci sono punti poco chiari nella tua domanda che potresti voler chiarire. Nel documento collegato c'è una descrizione abbastanza chiara dell'algoritmo. Vuoi chiedere qualcosa di specifico su questo algoritmo? È l'idea di fare la selezione delle caratteristiche calcolando i valori marginali di cui si desidera una spiegazione? Inoltre, dovresti mettere in discussione la definizione 2 nel documento. È un'affermazione non supportata, che può essere un presupposto funzionante, ma piccoli valori marginali non implicano in generale rilevanza. A proposito, LAR sta facendo una regressione lineare e non è proprio per le risposte binarie.

p

$p$

p

$p$

— NRH,

(Non ho molto tempo ora, quindi risponderò brevemente e poi espanderò più avanti)

Supponiamo che stiamo considerando un problema di classificazione binaria e che abbiamo un set di addestramento di campioni di classe 1 e campioni di classe 2. Un test di permutazione per la selezione delle caratteristiche esamina ciascuna caratteristica singolarmente. Una statistica di prova , come il guadagno di informazioni o la differenza normalizzata tra i mezzi, viene calcolata per la funzione. I dati per la funzione vengono quindi casualmente permutati e suddivisi in due set, uno di dimensione uno di dimensione . La statistica test viene quindi calcolata sulla base di questa nuova partizione $m$ $n$ $\theta$ $m$ $n$ $\theta_p$ $p$ . A seconda della complessità computazionale del problema, questo viene ripetuto su tutte le possibili partizioni della funzione in due insiemi di ordine e , o un sottoinsieme casuale di questi. $m$ $n$

Ora che abbiamo stabilito una distribuzione su , calcoliamo il valore p che la statistica di test osservata nata da una partizione casuale della funzione. L'ipotesi nulla è che i campioni di ciascuna classe provengano dalla stessa distribuzione sottostante (la caratteristica è irrilevante). $\theta_p$ $\theta$

Questo processo viene ripetuto su tutte le funzionalità, quindi il sottoinsieme di funzionalità utilizzate per la classificazione può essere selezionato in due modi:

La presenta i valori p più bassi $N$
Tutte le funzioni con un valore p $<\epsilon$

— benhamner
fonte