Qualcuno può dirmi qual è lo scopo della generazione di funzionalità? e perché è necessario l'arricchimento dello spazio delle caratteristiche prima di classificare un'immagine? È un passo necessario?
Esiste un metodo per arricchire lo spazio delle funzionalità?
Risposte:
Generazione di funzionalità : questo è il processo di acquisizione di dati grezzi e non strutturati e di definizione di funzionalità (ovvero variabili) per un potenziale utilizzo nell'analisi statistica. Ad esempio, nel caso del mining di testo puoi iniziare con un registro non elaborato di migliaia di messaggi di testo (ad esempio SMS, e-mail, messaggi di social network, ecc.) E generare funzionalità rimuovendo parole di basso valore (ad esempio, parole chiave), utilizzando determinate dimensioni blocchi di parole (cioè n-grammi) o l'applicazione di altre regole.
Estrazione delle funzionalità : dopo aver generato le funzionalità, è spesso necessario testare le trasformazioni delle funzionalità originali e selezionare un sottoinsieme di questo pool di potenziali funzionalità originali e derivate da utilizzare nel modello (ovvero estrazione e selezione delle funzionalità). Il test dei valori derivati è un passaggio comune poiché i dati possono contenere informazioni importanti che hanno un modello non lineare o una relazione con il risultato, pertanto l'importanza dell'elemento dati può essere evidente solo nel suo stato trasformato (ad esempio, derivati di ordine superiore). L'uso di troppe funzionalità può comportare la moltiplicazione della colinearità o confondere in altro modo i modelli statistici, mentre l'estrazione del numero minimo di funzionalità per soddisfare lo scopo dell'analisi segue il principio della parsimonia.
Il miglioramento dello spazio delle funzionalità in questo modo è spesso un passaggio necessario nella classificazione di immagini o altri oggetti di dati perché lo spazio delle funzionalità non elaborato viene in genere riempito con una quantità schiacciante di dati non strutturati e irrilevanti che comprende ciò che viene spesso definito "rumore" nel paradigma di un "segnale" e "rumore" (vale a dire che alcuni dati hanno un valore predittivo e altri no). Migliorando lo spazio delle funzionalità è possibile identificare meglio i dati importanti che hanno un valore predittivo o di altro tipo nella propria analisi (ad esempio il "segnale") mentre si rimuovono le informazioni confuse (ad esempio "rumore").