I dati hanno due tendenze; come estrarre linee di tendenza indipendenti?

Ho una serie di dati che non sono ordinati in alcun modo particolare, ma quando tracciati hanno chiaramente due tendenze distinte. Una semplice regressione lineare non sarebbe davvero adeguata qui a causa della chiara distinzione tra le due serie. Esiste un modo semplice per ottenere le due linee di tendenza lineari indipendenti?

Per la cronaca sto usando Python e sono abbastanza a mio agio con la programmazione e l'analisi dei dati, incluso l'apprendimento automatico, ma sono disposto a passare a R se assolutamente necessario.

Per risolvere il problema, un buon approccio consiste nel definire un modello probabilistico che corrisponda alle ipotesi sul set di dati. Nel tuo caso, probabilmente vuoi un mix di modelli di regressione lineare. È possibile creare un modello "miscela di regressori" simile a un modello di miscela gaussiana associando diversi punti dati a diversi componenti della miscela.

Ho incluso un codice per iniziare. Il codice implementa un algoritmo EM per una miscela di due regressori (dovrebbe essere relativamente facile estenderlo a miscele più grandi). Il codice sembra essere abbastanza robusto per set di dati casuali. Tuttavia, a differenza della regressione lineare, i modelli di miscela hanno obiettivi non convessi, quindi per un set di dati reale, potrebbe essere necessario eseguire alcune prove con diversi punti di partenza casuali.

import numpy as np
import matplotlib.pyplot as plt 
import scipy.linalg as lin

#generate some random data
N=100
x=np.random.rand(N,2)
x[:,1]=1

w=np.random.rand(2,2)
y=np.zeros(N)

n=int(np.random.rand()*N)
y[:n]=np.dot(x[:n,:],w[0,:])+np.random.normal(size=n)*.01
y[n:]=np.dot(x[n:,:],w[1,:])+np.random.normal(size=N-n)*.01


rx=np.ones( (100,2) )
r=np.arange(0,1,.01)
rx[:,0]=r

#plot the random dataset
plt.plot(x[:,0],y,'.b')
plt.plot(r,np.dot(rx,w[0,:]),':k',linewidth=2)
plt.plot(r,np.dot(rx,w[1,:]),':k',linewidth=2)

# regularization parameter for the regression weights
lam=.01

def em():
    # mixture weights
    rpi=np.zeros( (2) )+.5

    # expected mixture weights for each data point
    pi=np.zeros( (len(x),2) )+.5

    #the regression weights
    w1=np.random.rand(2)
    w2=np.random.rand(2)

    #precision term for the probability of the data under the regression function 
    eta=100

    for _ in xrange(100):
        if 0:
            plt.plot(r,np.dot(rx,w1),'-r',alpha=.5)
            plt.plot(r,np.dot(rx,w2),'-g',alpha=.5)

        #compute lhood for each data point
        err1=y-np.dot(x,w1)
        err2=y-np.dot(x,w2)
        prbs=np.zeros( (len(y),2) )
        prbs[:,0]=-.5*eta*err1**2
        prbs[:,1]=-.5*eta*err2**2

        #compute expected mixture weights
        pi=np.tile(rpi,(len(x),1))*np.exp(prbs)
        pi/=np.tile(np.sum(pi,1),(2,1)).T

        #max with respect to the mixture probabilities
        rpi=np.sum(pi,0)
        rpi/=np.sum(rpi)

        #max with respect to the regression weights
        pi1x=np.tile(pi[:,0],(2,1)).T*x
        xp1=np.dot(pi1x.T,x)+np.eye(2)*lam/eta
        yp1=np.dot(pi1x.T,y)
        w1=lin.solve(xp1,yp1)

        pi2x=np.tile(pi[:,1],(2,1)).T*x
        xp2=np.dot(pi2x.T,x)+np.eye(2)*lam/eta
        yp2=np.dot(pi[:,1]*y,x)
        w2=lin.solve(xp2,yp2)

        #max wrt the precision term
        eta=np.sum(pi)/np.sum(-prbs/eta*pi)

        #objective function - unstable as the pi's become concentrated on a single component
        obj=np.sum(prbs*pi)-np.sum(pi[pi>1e-50]*np.log(pi[pi>1e-50]))+np.sum(pi*np.log(np.tile(rpi,(len(x),1))))+np.log(eta)*np.sum(pi)
        print obj,eta,rpi,w1,w2

        try:
            if np.isnan(obj): break
            if np.abs(obj-oldobj)<1e-2: break
        except:
            pass

        oldobj=obj

    return w1,w2


#run the em algorithm and plot the solution
rw1,rw2=em()
plt.plot(r,np.dot(rx,rw1),'-r')
plt.plot(r,np.dot(rx,rw2),'-g')

plt.show()

Altrove in questo thread, user1149913 fornisce ottimi consigli (definire un modello probabilistico) e codice per un approccio potente (stima EM). Rimangono due questioni da affrontare:

1. Come far fronte alle deviazioni dal modello probabilistico (che sono molto evidenti nei dati 2011-2012 e in qualche modo evidente nelle ondulazioni dei punti meno inclinati).

2. Come identificare buoni valori iniziali per l'algoritmo EM (o qualsiasi altro algoritmo).

Per indirizzare il numero 2, considera l'utilizzo di una trasformazione di Hough . Questo è un algoritmo di rilevamento delle caratteristiche che, per trovare tratti lineari di caratteristiche, può essere calcolato in modo efficiente come trasformata di Radon .

$x$$y$$x,y$nella trasformazione di Hough. Quando le caratteristiche nella trama originale cadono lungo una linea comune, o abbastanza vicine a una, le raccolte di curve che producono nella trasformazione di Hough tendono ad avere un'intersezione comune corrispondente a quella linea comune. Trovando questi punti di massima intensità nella trasformazione di Hough, possiamo leggere buone soluzioni al problema originale.

Per iniziare con questi dati, ho prima ritagliato le cose ausiliarie (assi, segni di spunta ed etichette) e per buona misura ho ritagliato i punti ovviamente periferici in basso a destra e cosparso lungo l'asse inferiore. (Quando quella roba non viene ritagliata, la procedura funziona ancora bene, ma rileva anche gli assi, i frame, le sequenze lineari di tick, le sequenze lineari di etichette e persino i punti che si trovano sporadicamente sull'asse inferiore!)

img = Import["http://i.stack.imgur.com/SkEm3.png"]
i = ColorNegate[Binarize[img]]
crop2 = ImageCrop[ImageCrop[i, {694, 531}, {Left, Bottom}], {565, 467}, {Right, Top}]

(Questo e il resto del codice sono in Mathematica .)

Ad ogni punto in questa immagine corrisponde una ristretta gamma di curve nella trasformata di Hough, visibile qui. Sono onde sinusoidali:

hough2 = Radon[crop2, Method -> "Hough"]  // ImageAdjust

Ciò rende visivamente evidente il senso in cui la domanda è un problema di raggruppamento di linee : la trasformazione di Hough la riduce a un problema di raggruppamento puntuale , al quale possiamo applicare qualsiasi metodo di raggruppamento che ci piace.

In questo caso, il clustering è così chiaro che è sufficiente la semplice post-elaborazione della trasformazione di Hough. Per identificare le posizioni di maggiore intensità nella trasformazione, ho aumentato il contrasto e sfocato la trasformazione su un raggio di circa l'1%: è paragonabile ai diametri dei punti della trama nell'immagine originale.

blur = ImageAdjust[Blur[ImageAdjust[hough2, {1, 0}], 8]]

Limitando il risultato lo si restringeva a due piccole chiazze i cui centroidi identificano ragionevolmente i punti di maggiore intensità: stimano le linee adattate.

comp = MorphologicalComponents[blur, 0.777]) // Colorize

$0.777$

Il lato sinistro dell'immagine corrisponde a una direzione di 0 gradi (orizzontale) e, osservando da sinistra a destra, tale angolo aumenta linearmente a 180 gradi. Interpolando, computo che i due blob sono centrati rispettivamente a 19 e 57,1 gradi. Possiamo anche leggere le intercettazioni dalle posizioni verticali delle chiazze. Questa informazione fornisce gli adattamenti iniziali:

width = ImageDimensions[blur][[1]];
slopes =  Module[{x, y, z}, ComponentMeasurements[comp, "Centroid"] /. 
          Rule[x_, {y_, z_}] :>  Round[((y - 1/2)/(width - 1))  180., 0.1]
  ]

{19., 57.1}

In modo simile si possono calcolare le intercettazioni corrispondenti a queste pendenze, dando questi accoppiamenti:

(La linea rossa corrisponde al puntino rosa nella figura precedente e la linea blu corrisponde alla goccia d'acqua più grande.)

In larga misura, questo approccio ha affrontato automaticamente il primo problema: le deviazioni dalla linearità macchiano i punti di maggiore intensità, ma in genere non li spostano molto. I punti francamente periferici contribuiranno al rumore di basso livello durante la trasformazione di Hough, che scomparirà durante le procedure di post-elaborazione.

A questo punto si possono fornire queste stime come valori iniziali per l'algoritmo EM o per un minimizzatore di probabilità (che, date buone stime, convergeranno rapidamente). Meglio, però, sarebbe usare un robusto stimatore della regressione come i minimi quadrati ripetutamente pesati . È in grado di fornire un peso di regressione in ogni punto. Pesi bassi indicano che un punto non "appartiene" a una linea. Sfruttare questi pesi, se lo si desidera, per assegnare ciascun punto alla propria linea. Quindi, dopo aver classificato i punti, è possibile utilizzare i minimi quadrati ordinari (o qualsiasi altra procedura di regressione) separatamente sui due gruppi di punti.

Ho trovato questa domanda collegata ad un'altra domanda . In realtà ho fatto ricerche accademiche su questo tipo di problema. Per favore, controlla la mia risposta "Meno radice quadrata"? Un metodo di adattamento con minimi multipli per maggiori dettagli.

L'approccio basato sulla trasformazione di Hough di whuber è un'ottima soluzione per scenari semplici come quello che hai fornito. Ho lavorato su scenari con dati più complessi, come questo:

I miei coautori e io abbiamo indicato questo problema come "associazione di dati". Quando si tenta di risolverlo, il problema principale è in genere combinatorio a causa della quantità esponenziale di possibili combinazioni di dati.

Abbiamo una pubblicazione " Sovrapposizioni di miscele di processi gaussiani per il problema dell'associazione dei dati " in cui abbiamo affrontato il problema generale delle curve N con una tecnica iterativa, dando ottimi risultati. Puoi trovare il codice Matlab collegato nel documento.

[Aggiornamento] Un'implementazione Python della tecnica OMGP è disponibile nella libreria GPClust .

Ho un altro documento in cui abbiamo risolto il problema per ottenere un problema di ottimizzazione convessa, ma non è stato ancora accettato per la pubblicazione. È specifico per 2 curve, quindi funzionerebbe perfettamente sui tuoi dati. Fatemi sapere se siete interessati.

user1149913 ha una risposta eccellente (+1), ma mi sembra che la tua raccolta di dati sia andata in frantumi alla fine del 2011, quindi dovresti tagliare quella parte dei tuoi dati e quindi eseguire comunque alcune cose con diverse casuali coefficienti di partenza per vedere cosa ottieni.

Un modo semplice per fare le cose sarebbe quello di separare i tuoi dati in due insiemi a occhio, quindi utilizzare qualsiasi tecnica di modello lineare a cui sei abituato. In R, sarebbe la lmfunzione.

O si adatta a due linee a occhio. In R useresti ablineper fare questo.

I dati sono confusi, hanno valori anomali e alla fine cadono a pezzi, ma l'occhio ha due linee abbastanza ovvie, quindi non sono sicuro che ne valga la pena un metodo sofisticato.