Come codificare una classe con 24.000 categorie?

Attualmente sto lavorando a un modello di regressione logistica per la genomica. Uno dei campi di input che voglio includere come covariata ègenes . Esistono circa 24.000 geni noti. Ci sono molte caratteristiche con questo livello di variabilità nella biologia computazionale e sono necessarie centinaia di migliaia di campioni.

• Se io LabelEncoder() quei geni 24K
• e poi OneHotEncoder() loro ...

24.000 colonne renderanno irragionevoli i tempi di allenamento delle mie macchine fotografiche per una CPU i7 quad-core a 2,2 GHz?

In tal caso, esiste un approccio diverso alla codifica che posso adottare con questo?

Dovrei in qualche modo provare a dedicare un livello del mio modello a questa funzione?

Questo significa che ho bisogno di nodi di input 24K?

Sì, l'utilizzo della codifica one-hot su funzionalità 24k richiede nodi di input 24k. Tuttavia, questo non dovrebbe essere un problema per Keras (o per qualsiasi altra libreria di apprendimento profondo). L'elaborazione del linguaggio naturale spesso utilizza una codifica a una parola su parole con una dimensione del vocabolario nello stesso campo di gioco.

Se si utilizza un modello "profondo", uno dei livelli nascosti dovrebbe occuparsi di ridurre la dimensionalità dei dati. Di solito non è necessaria una fase di pre-elaborazione separata.

Il tempo di allenamento non dovrebbe essere irragionevole.

L'incorporamento di entità per variabili categoriali ( cercapersone originale ) sarebbe un approccio molto adatto qui. Continua a leggere qui o qui . In realtà ho messo pezzi di codice da qui a là e ho realizzato un'implementazione completa in esecuzione, vedi questo repository git. Ciò gestisce facilmente variabili categoriali cardinali molto elevate utilizzando reti neurali. Non elencherò i pro e i contro di OHE, è solo Google, ma uno dei suoi principali svantaggi esp. quando si ha una variabile categoriale cardinale molto alta, aumenta drasticamente lo spazio delle funzioni inutilmente, cosa che a mio avviso non è l'ideale. E, soprattutto, OHE, per quanto ne sappia, non tiene conto della relazione semantica tra le categorie se esiste una relazione del genere! Tuttavia, l'incorporamento delle entità è un concetto dell'incorporamento delle parole nella PNL, i pesi appresi per codificare le categorie possono potenzialmente catturare relazioni all'interno della categoria.

In generale, quel numero di geni dovrebbe essere ridotto a un insieme molto più piccolo di caratteristiche significative. Quindi, il modello con funzionalità ridotte può essere utilizzato nel modello. Ad esempio, l'analisi dei componenti principali (PCA) è una delle tecniche di riduzione più comuni ed è stata utilizzata per i dati di espressione genica .

" Apprendimento automatico per l'integrazione dei dati in biologia e medicina: principi, pratica e opportunità" di Zitnika et al. copre una varietà di tecniche di ingegneria delle caratteristiche per i geni.