Apprendimento automatico vs identificazione del sistema?

Qualcuno potrebbe spiegarmi le differenze e le somiglianze tra apprendimento automatico e identificazioni di sistema? Sono solo due nomi della stessa cosa? In questa pagina , dicono:

Le comunità di apprendimento automatico e di identificazione del sistema devono affrontare problemi simili in cui è necessario costruire un modello da osservazioni limitate o rumorose.

Ho anche letto i primi capitoli del famoso libro Pattern Recognition and Machine Learning di Christopher M. Bishop. Finora, la mia conclusione è che il problema che l'identificazione del sistema sta cercando di risolvere è un sottoinsieme di ciò che l'apprendimento automatico sta cercando di risolvere.

L'identificazione del sistema è la scienza della costruzione di modelli dinamici a partire dai dati osservati. Esistono due approcci principali: Prediction Error Identification (PEI) e Subspace Identification (SID). Entrambi stanno offrendo un cosiddetto modello parametrico, vale a dire un modello di una struttura fissa. Di solito, l'utente seleziona la struttura del sistema sottostante (specialmente nei metodi PEI) o almeno l'ordine del sistema (in entrambi i metodi). Anche se non è necessario, si cerca un sistema di ordine basso (vale a dire, il numero dei coefficienti di base è relativamente piccolo) perché viene spesso utilizzato a fini di controllo, quindi dobbiamo mantenerlo il più semplice possibile per evitare problemi computazionali ecc. Questo modello può essere usato per fare previsioni sul comportamento futuro del sistema dati alcuni input.

D'altra parte, l'apprendimento automatico (ML) ha due rami principali, algoritmi di classificazione e regressione. Questi ultimi vengono utilizzati anche a scopo di previsione. Due degli approcci più famosi nell'apprendimento automatico sono Support Vector Machines (SVM) e Gaussian processi (GP). La principale differenza con le tecniche di identificazione del sistema è che le tecniche ML stanno fornendo un modello non parametrico. Quest'ultimo significa che la previsione per un nuovo input viene data in funzione dei punti dati utilizzati per la "formazione" (apprendimento, identificazione) del modello. Pertanto, se utilizzassimo N = 1000 punti dati per l'allenamento, la previsione sarebbe espressa in funzione di questi punti dati. I metodi ML sono più flessibili poiché non richiedono alcuna selezione della struttura da parte dell'utente, ma devono affrontare altre limitazioni (ad es

Fino a poco tempo fa la ML e le tecniche di identificazione del sistema si stavano sviluppando in modo indipendente. Ma negli ultimi anni c'è stato un grande sforzo per stabilire un terreno comune (ad esempio, vedi il documento "Quattro incontri con l'identificazione del sistema" di Ljung)

Contesto: SysID e controlla il ragazzo che è entrato in ML.

Penso che la risposta di user110686 faccia un buon lavoro nel spiegare alcune differenze. SysID riguarda necessariamente modelli dinamici da dati di input / output, mentre ML copre una più ampia classe di problemi. Ma la più grande differenza che vedo riguarda la (a) memoria (numero di parametri); (b) uso finale del modello "appreso". L'identificazione del sistema è un approccio di elaborazione del segnale che considera rappresentazioni del dominio della frequenza, analisi della frequenza del tempo, ecc.

(un ricordo:SysID è diventato famoso molto prima che la ML prendesse forma un campo di ricerca. Quindi le statistiche e l'elaborazione del segnale sono state la base principale per le basi teoriche e il calcolo era lo spavento. Quindi, le persone hanno lavorato con una classe di modelli molto semplice (compromesso di bias-varianza) con pochissimi parametri. Stiamo parlando al massimo di 30-40 parametri e per lo più modelli lineari anche per i casi in cui le persone sanno chiaramente che il problema non è lineare. Tuttavia, ora il calcolo è molto economico ma SysID non è ancora uscito dalla sua shell. Le persone dovrebbero iniziare a rendersi conto che ora abbiamo sensori molto migliori, in grado di stimare facilmente migliaia di parametri con set di modelli molto ricchi. Alcuni ricercatori hanno tentato di utilizzare le reti neurali per SysID ma molti sembrano riluttanti ad accettarli come "mainstream" poiché non ci sono molte garanzie teoriche.

(b) Uso finale del modello appreso: ora questa è una cosa che SysID ha ottenuto molto bene, ma molti algoritmi ML non riescono a catturare. È importante riconoscere che per le applicazioni target, si stanno necessariamente costruendo modelli che possono essere utilizzati in modo efficace per l'ottimizzazione online.Questi modelli verranno utilizzati per propagare qualsiasi decisione di controllo presa e quando si configura come un problema di controllo ottimale, i modelli diventano vincoli. Pertanto, quando si utilizza una struttura del modello estremamente complicata, l'ottimizzazione online diventa molto più difficile. Si noti inoltre che queste decisioni online vengono prese in scala di secondi o meno. Un'alternativa proposta è quella di apprendere direttamente la funzione del valore in modo off-policy per un controllo ottimale. Questo è fondamentalmente l'apprendimento per rinforzo e penso che ci sia una buona sinergia tra SysID e RL.

Vorrei aggiungere che esistono anche approcci non parametrici all'identificazione del sistema. Vedi la toolbox SysId di MATLAB o il libro di Ljung per i dettagli. Gli approcci non parametrici vengono spesso utilizzati per identificare prima la classe di modelli per gli studi parametrici successivi. Inoltre, è importante separare il problema di stima dal problema di controllo (si pensi al ciclo OODA). Nell'identificare un sistema, spesso l'obiettivo è semplicemente quello di caratterizzare il sistema senza input di controllo specifici del tipo che verrà progettato in seguito (ma ciò non è sempre possibile). Infine, penso che sia utile rendersi conto che un sistema è dal punto di vista matematico un operatore che mappa uno spazio di funzioni a uno spazio di funzioni. Quindi le equazioni differenziali sono spesso il tipo di cose identificate e queste mappe funzionano con funzioni. Le funzioni in SysID sono spesso funzioni continue del tempo, ovvero segnali di tempo continuo. (Ma possono anche essere un tempo discreto.) Pertanto, SysID non sta solo tentando di mappare numeri reali (o vettori) a numeri reali (o vettori); cerca di identificare il miglior operatore (LTI, LTV, non lineare, ecc.) che mappa i segnali di ingresso ai segnali di uscita.

Apprendimento automatico: modellistica per modello statico e modello dinamico, Identificazione del sistema: attenzione al modello dinamico o al processo dinamico