Perché alla gente piacciono i dati fluidi?

Devo usare il kernel Squared Exponential (SE) per la regressione del processo gaussiana. I vantaggi di questo kernel sono: 1) semplice: solo 3 iperparametri; 2) liscio: questo kernel è gaussiano.

Perché alla gente piace così tanto la "levigatezza"? So che il kernel gaussiano è infinitamente differenziabile, ma è così importante? (Per favore fatemi sapere se ci sono altri motivi per cui il kernel SE è così popolare.)

PS: Mi è stato detto che la maggior parte dei segnali nel mondo reale (senza rumore) sono fluidi , quindi è ragionevole usare kernel morbidi per modellarli. Qualcuno potrebbe aiutarmi a capire questo concetto?

" Natura non facit saltus " è un vecchio principio in filosofia. Inoltre, la bellezza e l'armonia sono tali principi. Un altro principio filosofico che ha un impatto sulla statistica è il pensiero qualitativo: tradizionalmente non pensiamo alle dimensioni degli effetti ma alla presenza o meno di un effetto. Questo ha permesso di testare le ipotesi. Gli stimatori sono troppo precisi per la tua percezione della natura. Prendi come è.

La statistica deve servire la percezione umana. Quindi i punti di discontinuità non sono graditi. Uno si chiederebbe immediatamente: perché proprio in questo è una discontinuità? Soprattutto nella stima della densità, questi punti di discontinuità sono principalmente dovuti alla natura non asintotica dei dati reali. Ma non vuoi conoscere il tuo certo campione finito ma il fatto naturale sottostante. Se ritieni che questa natura non salti, allora hai bisogno di stimatori fluidi.

Da un rigoroso punto di vista matematico, non c'è quasi motivo. Inoltre, da quando sono stati resi noti i fenomeni naturali di Leibniz e Newton che non sono fluidi. Parla con lo scienziato naturale per cui lavori. Sfida la sua visione di fluidità / discontinuità e poi fai quello che entrambi hai deciso di essere più utile per la sua comprensione.

Ci sono altre due ragioni per questioni pratiche. Il primo è che le funzioni analitiche sono molto più facili da lavorare matematicamente, e quindi dimostrano teoremi sugli algoritmi e danno loro una base più solida.

Il secondo è la sensibilità. Supponi di avere uno studente di macchina cui output ha una discontinuità a . Quindi otterrai risultati molto diversi per e , ma va bene perché l'abbiamo reso discontinuo. Ora, se alleni il tuo modello con dati leggermente diversi ( ), dove il rumore casuale è solo leggermente diverso, la discontinuità sarà ora a , probabilmente molto vicino a , ma non del tutto, e ora , per alcuni valori di , ha un valore molto diverso per e per$M$$x=x_0$$x_0 - \epsilon$$x_0 + \epsilon$$\tilde M$$\tilde x_0$$x_0$$\epsilon$$x_0 + \epsilon$$M$$\tilde M$.

Ci sono molte motivazioni, a seconda del problema. Ma l'idea è la stessa: aggiungere una conoscenza a priori su alcuni problemi per ottenere una soluzione migliore e far fronte alla complessità. Un altro modo per dirlo è: selezione del modello. Ecco un bell'esempio sulla selezione del modello .

Un'altra idea, profondamente collegata ad essa è quella di trovare una misura di somiglianza di campioni di dati (ci sono termini diversi che si riferiscono a quell'idea: mappature topografiche, metrica della distanza, apprendimento multiplo, ...).

Consideriamo ora un esempio pratico: il riconoscimento ottico dei caratteri. Se prendi l'immagine di un personaggio, ti aspetteresti che il classificatore gestisca le invarianze: se ruoti, sposti o ridimensioni l'immagine, dovrebbe essere in grado di rilevarla. Inoltre, se applichi qualche modifica leggermente all'input, ti aspetteresti che la risposta / comportamento del tuo classificatore varierà leggermente, poiché entrambi i campioni (l'originale e il modificato sono molto simili). È qui che entra in gioco l'applicazione della scorrevolezza.

Esistono molti documenti che trattano questa idea, ma questa (invarianza della trasformazione nel riconoscimento di schemi, distanza tangente e propagazione tangente, Simard et al.) Illustra queste idee in modo molto dettagliato