Quantificazione della somiglianza tra due set di dati

Riepilogo : cercare di trovare il metodo migliore per riepilogare la somiglianza tra due insiemi di dati allineati utilizzando un singolo valore.

Dettagli :

La mia domanda è meglio spiegata con un diagramma. I grafici seguenti mostrano due diversi set di dati, ciascuno con valori etichettati nfe nr. I punti lungo l'asse x rappresentano il punto in cui sono state eseguite le misurazioni, mentre i valori sull'asse y sono il valore misurato risultante.

Per ogni grafico voglio un singolo numero per riassumere la somiglianza nfe i nrvalori in ciascun punto di misurazione. In questo esempio è visivamente ovvio che i risultati nei primi grafici sono meno simili a quelli nel secondo grafico. Ma ho molti altri dati in cui la differenza è meno evidente, quindi essere in grado di classificarlo quantitativamente sarebbe utile.

Ho pensato che potrebbe esserci una tecnica standard che viene generalmente utilizzata. La ricerca della somiglianza statistica ha dato molti risultati diversi, ma non sono sicuro di cosa sia meglio scegliere o se le cose che sono pronto si applicano al mio problema. Quindi ho pensato che valesse la pena porre questa domanda nel caso in cui ci sia una risposta semplice.

L'area tra 2 curve può darti la differenza. Quindi la somma (nr-nf) (somma di tutte le differenze) sarà un'approssimazione dell'area tra 2 curve. Se vuoi renderlo relativo, puoi usare sum (nr-nf) / sum (nf). Questi ti daranno un singolo valore che indica la somiglianza tra 2 curve per ciascun grafico.

Modifica: il metodo sopra indicato della somma delle differenze sarà utile anche se si tratta di punti o osservazioni separati e non di linee o curve collegate, ma in tal caso, la media delle differenze può anche essere un indicatore e potrebbe essere migliore poiché prenderebbe in considerazione il numero di osservazioni.

Devi definire più cosa intendi per "somiglianza". L'importanza è importante? O solo forma?

Se solo la forma è importante, ti consigliamo di normalizzare entrambe le serie storiche per il loro valore massimo (quindi sono entrambe da 0 a 1).

Se stai cercando una correlazione lineare, una semplice correlazione pearson funzionerà bene, che essenzialmente misura la covarianza.

Esistono altre tecniche, ad esempio, che potrebbero adattare una linea o un polinomio alle serie temporali (essenzialmente livellandolo) e quindi confrontando i polinomi lisci.

Se stai cercando una somiglianza periodica (ovvero le serie temporali hanno una certa componente sinusoidale o stagionalità), prendi in considerazione l'uso di una scomposizione delle serie temporali nella tendenza e condividi prima i componenti. O usando qualcosa come FFT per confrontare i dati nel dominio della frequenza.

Questo è tutto ciò che so senza più definizione di ciò che dovrebbe essere "simile". Spero che sia d'aiuto.

È possibile utilizzare (nr-nf) per ogni punto di misurazione, più piccolo è il numero (valore assoluto) più simile è il valore. Non è esattamente l'approccio più scientifico, per favore perdonami, non ho una vera formazione formale in questa materia. Se stai solo cercando una rappresentazione numerica del visivo, questo dovrebbe farlo.