Come cercare le valli in un grafico?

Sto esaminando alcuni dati di copertura genomica che è fondamentalmente un lungo elenco (alcuni milioni di valori) di numeri interi, ognuno dei quali dice quanto bene (o "in profondità") sia coperta questa posizione nel genoma.

Vorrei cercare "valli" in questi dati, cioè regioni che sono significativamente "più basse" del loro ambiente circostante.

Nota che la dimensione delle valli che sto cercando può variare da 50 basi a poche migliaia.

Che tipo di paradigmi consiglieresti di usare per trovare quelle valli?

AGGIORNARE

Alcuni esempi grafici per i dati:

AGGIORNAMENTO 2

Definire cos'è una valle è ovviamente una delle domande con cui sto lottando. Questi sono ovvi per me:

ma ci sono alcune situazioni più complesse. In generale, ci sono 3 criteri che prendo in considerazione: 1. La copertura (media? Massima?) Nella finestra rispetto alla media globale. 2. La (...) copertura nella finestra rispetto all'ambiente circostante. 3. Quanto è grande la finestra: se vedo una copertura molto bassa per un breve periodo è interessante, se vedo una copertura molto bassa per un lungo periodo è anche interessante, se vedo una copertura leggermente bassa per un breve periodo non è davvero interessante , ma se vedo una copertura leggermente bassa per un lungo arco di tempo, lo è ... Quindi è una combinazione della lunghezza del sapn e della sua copertura. Più è lungo, più alto lascio che la copertura sia e la considero ancora una valle.

Grazie,

Dave

È possibile utilizzare una sorta di approccio Monte Carlo, ad esempio utilizzando la media mobile dei dati.

Prendi una media mobile dei dati, usando una finestra di dimensioni ragionevoli (immagino che dipenda da te decidere quanto largo).

I dati nei tuoi dati saranno (ovviamente) caratterizzati da una media inferiore, quindi ora devi trovare una "soglia" per definire "bassa".

Per fare ciò, scambia casualmente i valori dei tuoi dati (ad es. Utilizzando sample()) e ricalcola la media mobile per i tuoi dati scambiati.

Ripeti l'ultimo passaggio un numero ragionevolmente elevato di volte (> 5000) e memorizza tutte le medie di queste prove. Quindi essenzialmente avrai una matrice con 5000 linee, una per prova, ognuna contenente la media mobile per quella prova.

A questo punto per ogni colonna scegli il quantile 5% (o 1% o quello che vuoi), ovvero il valore sotto il quale si trova solo il 5% della media dei dati randomizzati.

Ora hai un "limite di confidenza" (non sono sicuro che sia il termine statistico corretto) con cui confrontare i tuoi dati originali. Se trovi una parte dei tuoi dati inferiore a questo limite, puoi chiamarla a through.

Naturalmente, tieni presente che non questo né nessun altro metodo matematico potrebbe mai darti alcuna indicazione di significato biologico, anche se sono sicuro che tu ne sia ben consapevole.

EDIT - un esempio

require(ares) # for the ma (moving average) function

# Some data with peaks and throughs 
values <- cos(0.12 * 1:100) + 0.3 * rnorm(100) 
plot(values, t="l")

# Calculate the moving average with a window of 10 points 
mov.avg <- ma(values, 1, 10, FALSE)

numSwaps <- 1000    
mov.avg.swp <- matrix(0, nrow=numSwaps, ncol=length(mov.avg))

# The swapping may take a while, so we display a progress bar 
prog <- txtProgressBar(0, numSwaps, style=3)

for (i in 1:numSwaps)
{
# Swap the data
val.swp <- sample(values)
# Calculate the moving average
mov.avg.swp[i,] <- ma(val.swp, 1, 10, FALSE)
setTxtProgressBar(prog, i)
}

# Now find the 1% and 5% quantiles for each column
limits.1 <- apply(mov.avg.swp, 2, quantile, 0.01, na.rm=T)
limits.5 <- apply(mov.avg.swp, 2, quantile, 0.05, na.rm=T)

# Plot the limits
points(limits.5, t="l", col="orange", lwd=2)
points(limits.1, t="l", col="red", lwd=2)

Questo ti consentirà solo di trovare graficamente le regioni, ma puoi trovarle facilmente usando qualcosa sulle linee di which(values>limits.5).

Sono completamente all'oscuro di questi dati, ma supponendo che i dati siano ordinati (non in tempo, ma per posizione?) Ha senso fare uso dei metodi delle serie temporali. Esistono molti metodi per identificare i cluster temporali nei dati. Generalmente vengono utilizzati per trovare valori elevati, ma possono essere utilizzati per valori bassi raggruppati insieme. Sto pensando qui a statistiche di scansione, statistiche di somma cumulativa (e altre) utilizzate per rilevare epidemie di malattia nei dati di conteggio. Esempi di questi metodi sono nel pacchetto di sorveglianza e nel pacchetto DCluster.

Ci sono molte opzioni per questo, ma una buona: puoi usare la msExtremafunzione nel msProcesspacchetto .

Modificare:

Nell'analisi delle prestazioni finanziarie, questo tipo di analisi viene spesso eseguita utilizzando un concetto di "drawdown". Il PerformanceAnalyticspacchetto ha alcune utili funzioni per trovare queste valli . Puoi usare lo stesso algoritmo qui se tratti le tue osservazioni come una serie temporale.

Ecco alcuni esempi di come potresti essere in grado di applicare questo ai tuoi dati (dove le "date" sono irrilevanti ma utilizzate solo per l'ordinamento), ma i primi elementi zoonell'oggetto sarebbero i tuoi dati:

library(PerformanceAnalytics)
x <- zoo(cumsum(rnorm(50)), as.Date(1:50))
findDrawdowns(x)
table.Drawdowns(x)
chart.Drawdown(x)

Alcuni pacchetti del bioconduttore (ad es. ShortRead , Biostrings , BSgenome , IRanges , genomeIntervals ) offrono servizi per gestire posizioni del genoma o vettori di copertura, ad es. Per ChIP-seq e identificare regioni arricchite. Per quanto riguarda le altre risposte, concordo sul fatto che qualsiasi metodo basato su osservazioni ordinate con un filtro basato sulla soglia consentirebbe di isolare il segnale basso all'interno di una banda specifica.

Forse puoi anche guardare i metodi usati per identificare le cosiddette "isole"

Zang, C, Schones, DE, Zeng, C, Cui, K, Zhao, K e Peng, W (2009). Un approccio di clustering per l'identificazione di domini arricchiti dai dati ChIP-Seq di modifica dell'istone . Bioinformatica, 25 (15) , 1952-1958.