Adatta dati lineari a tratti

Qual è un modo affidabile per adattare dati lineari ma rumorosi?

Sto misurando un segnale, che consiste in diversi segmenti quasi lineari. Vorrei adattare in modo atomatico diverse linee ai dati per rilevare le transizioni.

Il set di dati è composto da poche migliaia di punti, con 1-10 segmenti e conosco il numero di segmenti.

Questo è un esempio di ciò che mi piacerebbe fare automaticamente.

Ho provato due approcci, ingenuamente (usando solo 3 segmenti). Sicuramente ci sarebbero metodi più fantasiosi là fuori.

RANSAC, dovrebbe essere un robusto meccanismo di adattamento. È facile arrestare l'algoritmo dopo un numero di segmenti. Tuttavia, potrebbe essere difficile imporre la continuità tra i segmenti - come sembra necessario nella propria applicazione - almeno con una semplice implementazione. Come prova del concetto, ho creato un'immagine dai punti dati in modo da poter utilizzare il motore RANSAC disponibile in , la funzione di rilevamento della linea di Mathematica.$ImageLines$

Montare un modello lineare a tratti usando un minimizzatore per uso generale. È facile imporre la continuità dei segmenti. È interessante notare che i test per i residui e altre proprietà possono fornire informazioni sufficienti per determinare automaticamente il numero di segmenti, ma non l'ho provato. Ecco come appare in Mathematica:

Non pretendo che il seguente metodo sia robusto, ma potrebbe funzionare per te. Con migliaia di punti e forse una decina di segmenti di linea retta, procedere come segue.$x[n]$

• Elaborare i punti per creare un array di bit y [ n ] come segue. y [ n ] = { 1 , se | ( x [ n + 1 ] - x [ n ] ) - ( x [ n ] - x [ n - 1 ] ) | < ϵ , 0 , altrimenti. Qui$x[n]$$y[n]$

  $$y[n] = \begin{cases}1, &\text{if} ~ |(x[n+1]-x[n]) - (x[n]-x[n-1])| < \epsilon,\\ 0, &\text{otherwise.}\end{cases}$$ è un piccolo numero scelto per adattarsi alla tua nozione di quanto vicino a una linea retta vuoi che punti x [ n - 1 ] , x [ n ] , x [ n + 1 ] . Il criterio sarà riconosciuto dai cognoscenti come esigente che la linea retta attraverso ( n - 1 , x [ n - 1 ] ) e ( n , x [ n ] $\epsilon$$x[n-1],x[n], x[n+1]$$(n-1, x[n-1])$$(n,x[n])$$(n,x[n])$$(n+1,x[n+1])$

• $y[n]$$1$$0$$1$$1$$\epsilon$

• $y[n]$$x[3]$$x[88]$$x[94]$$x[120]$$x[129]$$\cdots$, e così via. Estendi A verso destra e B verso sinistra per scoprire dove si incrociano; estendi B verso destra e C verso sinistra per scoprire dove si intersecano, ecc. Complimenti, ora hai un modello lineare continuo e a tratti per i tuoi dati.

(Anni dopo) le funzioni lineari a tratti sono spline di grado 1, che può essere detto alla maggior parte degli installatori di spline. scipy.interpolate.UnivariateSpline per esempio può essere eseguito con k=1 un parametro di smoothing s, con il quale dovrai giocare - vedi scipy-interpolazione-con-univariate-splines .
In Matlab, vedi come scegliere i nodi .

Aggiunto: trovare nodi ottimali non è facile, perché possono esserci molti optima locali. Invece, dai a UnivariateSpline un obiettivo s, somma dell'errore ^ 2, e lascia che determini il numero di nodi. Dopo il montaggio, get_residual()otterrà la somma effettiva dell'errore ^ 2 e get_knots()i nodi. Una piccola modifica spuò cambiare molto i nodi, specialmente in caso di rumore elevato - ymmv.
La trama mostra adattamenti a una funzione casuale lineare lineare + rumore per vari s.

Per il montaggio di costanti a tratti, vedere Rilevamento gradino . Può essere usato per pw linear? Non lo so; iniziare differenziando i dati rumorosi aumenterà il rumore, sbagliato.

Altre funzioni di test e / o collegamenti a documenti o codice sarebbero i benvenuti. Un paio di collegamenti:
regressione lineare a tratti con parametri come nodi
$\qquad$Le spline lineari sono molto sensibili a dove vengono posizionati i
nodi selezione-nodo-per-spline-regressione cubica
$\qquad$ Questo è un problema difficile e la maggior parte delle persone seleziona i nodi per tentativi ed errori.
$\qquad$ Un approccio che sta diventando sempre più popolare è utilizzare invece spline di regressione penalizzate.

optimal k lines
    = optimal k - 1 lines up to some x
    + cost of the last line x to the end
over x  (all x in theory, nearby x in practice)

La programmazione dinamica è molto intelligente, ma può battere forza bruta + euristica per questo compito?
Vedi le eccellenti note del corso di Erik Demaine in MIT 6.006 Introduzione agli algoritmi e alla regressione lineare segmentata di
Google anche alla sindrome di John Henry.

Prendi la derivata e cerca aree di valore quasi costante. Dovresti creare l'algoritmo per cercare quelle aree con idealmente un certo livello di pendenza +/- e che ti darebbe la pendenza della linea per quella sezione. Potresti voler eseguire un livellamento, come un mezzo scorrevole, prima di fare la classificazione in sezione. Il prossimo passo sarebbe quello di ottenere l'intersezione y, che dovrebbe essere banale a quel punto.

L'uso di un filtro trend l1 è un'altra idea:

Carta

Esempio online