Quale algoritmo di apprendimento automatico può essere utilizzato per identificare modelli in un set di dati delle prestazioni della cache di una CPU?

Ho bisogno di un algoritmo di machine learning per identificare i pattern in un set di dati (salvato in un file CSV) che contiene i dettagli delle prestazioni della cache di una CPU. Più specificamente, il set di dati contiene colonne come Readhits, Readmisso Writehits.

I modelli identificati dall'algoritmo dovrebbero essere utili nei seguenti modi.

1. aiutare l'utente ad aumentare le prestazioni del carico di lavoro la prossima volta,

2. aiutare a identificare eventuali problemi in base alle funzionalità, o

3. aiutare l'utente a prevedere valori di dati futuri o eventi futuri che possono verificarsi in base ai modelli.

Quali algoritmi ML posso usare?

Le macchine Boltzmann limitate (RBM) possono identificare schemi in un file CSV senza che l'utente specifichi alcuna condizione. Sono adatti per generare, "rappresentazioni distribuite e classificate", di un "insieme complesso di funzioni che compongono dati reali ad alta dimensione è cruciale per raggiungere alte prestazioni nelle attività di apprendimento automatico". ¹

Poiché il formato CSV è progettato specificamente per rappresentare istanze in righe e un insieme statico di attributi in colonne, la configurazione della formazione è semplice. Se l'obiettivo è identificare i modelli temporali, potrebbe essere necessaria una strategia per finestre.

Le K-RBM sono una fusione di approcci k-mean con le RBM. La scelta dell'approccio ha molto a che fare con il tipo di modelli ricercati. Il termine modello può applicarsi a semplici andamenti dei numeri nel tempo, schemi comuni trovati in colonne testuali o schemi complessi dedotti da più colonne.

Riferimenti

[1] Emersione di rappresentazioni composizionali in macchine Boltzmann limitate , J. Tubiana, R. Monasson, 2017)

[2] Apprendimento di più spazi secondari non lineari usando K-RBM , Siddhartha Chandra, Shailesh Kumar e CV Jawahar

Personalmente andrei con il clustering k-means. È progettato per problemi come questo.

Ho bisogno di un algoritmo di apprendimento automatico per identificare eventuali schemi in un file CSV

Vuoi fare un apprendimento senza supervisione . La definizione di Wikipedia dello stesso è:

L'apprendimento automatico senza supervisione è il compito dell'apprendimento automatico di inferire una funzione per descrivere la struttura nascosta da dati "senza etichetta" (una classificazione o categorizzazione non è inclusa nelle osservazioni).

Ti consiglierò di consultare l'elenco degli algoritmi di apprendimento senza supervisione qui e utilizzare quello che si adatterebbe alle tue esigenze.

Se stai iniziando, allora consiglierei di iniziare con l'apprendimento dell'algoritmo di clustering di K-mean .

Innanzitutto, devi classificare ogni blocco del file CSV ed etichettarlo in base alla situazione attuale, come A) situazione ottimale B) critica.

Quindi raggruppa i tuoi dati con un algoritmo di apprendimento senza supervisione, come SOM o k-mean, e poi classifichi semplicemente le classi che otterrai.

Fondamentalmente stai cercando l' apprendimento non supervisionato (UL). Ci sono molte tecniche UL in circolazione, ma non sono sicuro che troverai quella che fa esattamente quello che vuoi senza alcun input da parte dell'utente. Tuttavia, se sfogli la letteratura su questi approcci, potresti trovare qualcosa di utile.

Un'opzione è DBSCAN , un algoritmo di clustering molto popolare che non richiede all'utente di immettere un numero target iniziale di cluster (cosa che la maggior parte degli algoritmi di clustering richiede). Ma anche in questo caso, devi ancora fornire i valori dell'algoritmo per epsilon(una distanza utilizzata nel calcolo dei cluster) e minPts(il numero minimo di punti richiesti per costituire una regione "densa").

Potresti anche guardare le mappe auto-organizzate , un approccio all'apprendimento non supervisionato per le reti neurali.

Alcuni altri termini di ricerca che potrebbero condurti in una direzione utile includono "data mining" e "scoperta della conoscenza nei database" (KDD).