Sto cercando di capire come rilevare il numero di sillabe in un corpus di registrazioni audio. Penso che un buon proxy potrebbe essere un picco nel file wave.

Ecco cosa ho provato con un file di me che parlavo in inglese (il mio caso d'uso reale è in Kiswahili). La trascrizione di questo esempio di registrazione è: "Sono io che sto cercando di usare la funzione timer. Sto guardando pause, vocalizzazioni". Ci sono un totale di 22 sillabe in questo passaggio.

file wav: https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0

Il seewavepacchetto in R è eccezionale e ci sono diverse potenziali funzioni. Per prima cosa, importa il file wave.

library(seewave)
library(tuneR)
w <- readWave("YOURPATHHERE/test.wav")  
w
# Wave Object
# Number of Samples:      278528
# Duration (seconds):     6.32
# Samplingrate (Hertz):   44100
# Channels (Mono/Stereo): Stereo
# PCM (integer format):   TRUE
# Bit (8/16/24/32/64):    16

La prima cosa che ho provato è stata la timer()funzione. Una delle cose che restituisce è la durata di ogni vocalizzazione. Questa funzione identifica 7 vocalizzazioni, che è di gran lunga inferiore a 22 sillabe. Un rapido sguardo alla trama suggerisce che le vocalizzazioni non eguagliano le sillabe.

t <- timer(w, threshold=2, msmooth=c(400,90), dmin=0.1)
length(t$s)
# [1] 7

Ho anche provato la funzione fpeaks senza impostare una soglia. Ha restituito 54 picchi.

ms <- meanspec(w)
peaks <- fpeaks(ms)

Questo traccia l'ampiezza in base alla frequenza anziché al tempo. L'aggiunta di un parametro di soglia pari a 0,005 filtra il rumore e riduce il conteggio a 23 picchi, che è abbastanza vicino al numero effettivo di sillabe (22).

Non sono sicuro che questo sia l'approccio migliore. Il risultato sarà sensibile al valore del parametro di soglia e devo elaborare un grosso batch di file. Qualche idea migliore su come codificare questo per rilevare picchi che rappresentano sillabe?

Non credo che ciò che segue sia la soluzione migliore, ma @ eipi10 ha avuto un buon suggerimento per dare un'occhiata a questa risposta su CrossValidated . Così ho fatto.

Un approccio generale consiste nel livellare i dati e quindi trovare i picchi confrontando un filtro massimo locale con il liscio.

Il primo passo è creare la argmaxfunzione:

argmax <- function(x, y, w=1, ...) {
  require(zoo)
  n <- length(y)
  y.smooth <- loess(y ~ x, ...)$fitted
  y.max <- rollapply(zoo(y.smooth), 2*w+1, max, align="center")
  delta <- y.max - y.smooth[-c(1:w, n+1-1:w)]
  i.max <- which(delta <= 0) + w
  list(x=x[i.max], i=i.max, y.hat=y.smooth)
}

Il suo valore di ritorno include gli argomenti dei massimi locali (x) - che risponde alla domanda - e gli indici negli array x e y in cui si verificano quei massimi locali (i).

Ho apportato lievi modifiche alla testfunzione di stampa: (a) per definire esplicitamente xey e (b) per mostrare il numero di picchi:

test <- function(x, y, w, span) {
  peaks <- argmax(x, y, w=w, span=span)

  plot(x, y, cex=0.75, col="Gray", main=paste("w = ", w, ", span = ", 
                                              span, ", peaks = ", 
                                              length(peaks$x), sep=""))
  lines(x, peaks$y.hat,  lwd=2) #$
  y.min <- min(y)
  sapply(peaks$i, function(i) lines(c(x[i],x[i]), c(y.min, peaks$y.hat[i]),
                                    col="Red", lty=2))
  points(x[peaks$i], peaks$y.hat[peaks$i], col="Red", pch=19, cex=1.25)
}

Come l' fpeaksapproccio che ho citato nella mia domanda iniziale, anche questo approccio richiede una buona messa a punto. Non saprò la risposta "giusta" (cioè il numero di sillabe / picchi) in questo, quindi non sono sicuro di come definire una regola di decisione.

par(mfrow=c(3,1))
test(ms[,1], ms[,2], 2, 0.01)
test(ms[,1], ms[,2], 2, 0.045)
test(ms[,1], ms[,2], 2, 0.05)

A questo punto mi fpeakssembra un po 'meno complicato, ma ancora non soddisfacente.

Ho avuto problemi simili per analizzare i profili di elettroforesi delle proteine. Li ho risolti applicando alcune delle funzioni del pacchetto msprocess R sui secondi derivati ​​dei profili (vedi https://fr.wikipedia.org/wiki/D%C3%A9pouillement_d 'une_courbe # Position_et_hauteur_du_pic). Questo è stato pubblicato qui: http://onlinelibrary.wiley.com/doi/10.1111/1755-0998.12389/abstract;jsessionid=8EE0B64238728C0979FF71C576884771.f02t03

Non ho idea se una soluzione simile possa funzionare per te. In bocca al lupo

Ecco una libreria in Python che ho usato prima mentre cercavo di stimare la periodicità trovando picchi nella funzione di autocorrelazione.

Utilizza differenze del primo ordine / derivate discrete per il rilevamento dei picchi e supporta la sintonizzazione mediante parametri di soglia e distanza minima (tra picchi consecutivi). Si può anche migliorare la risoluzione di picco usando la stima e l'interpolazione della densità gaussiana (vedi link).

Per me ha funzionato abbastanza bene senza molte modifiche, anche per i dati rumorosi. Provaci.

Vorrei suggerire una soluzione utilizzando il changepointpacchetto. L'esempio semplicistico di seguito tenta di identificare i picchi, qui definiti come punti di cambiamento osservando un canale dai dati disponibili.

Esempio

Approvvigionamento di dati

# Libs
library(seewave)
library(tuneR)

# Download
tmpWav <- tempfile(fileext = ".wav")
download.file(url = "https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0",
              destfile = tmpWav)

# Read
w <- readWave(filename = tmpWav)

Preparazione dei dati

# Libs
require(changepoint)

# Create time series data for one channel as an example
leftTS <- ts(data = w@left)

## Preview
plot.ts(leftTS)

Grafico generato tramite la plot.tschiamata:

Analisi del punto di cambiamento

Il changepointpacchetto offre una serie di opzioni per identificare cambiamenti / picchi nei dati. Il codice seguente fornisce solo un semplice esempio di ricerca di 3 picchi usando il metodo BinSeg :

# BinSeg method (example)
leftTSpelt <- cpt.var(data = leftTS, method = "BinSeg", penalty = "BIC", Q = 3)
## Preview
plot(leftTSpelt, cpt.width = 3)

Grafico ottenuto: è anche possibile ottenere valori:

cpts(leftTSpelt)
[1]  89582 165572 181053

Note a margine

L'esempio fornito riguarda principalmente l'illustrazione di come l'analisi del punto di cambiamento può essere applicata ai dati forniti; occorre prestare attenzione rispetto ai parametri passati alla cp.varfunzione. Una spiegazione dettagliata del pacchetto e delle funzionalità disponibili è riportata nel seguente documento:

Killick, Rebecca ed Eckley, Idris (2014) changepoint: un pacchetto R per l'analisi del changepoint. Journal of Statistical Software, 58 (3). pagine 1-19.

ecp

ecp, vale la pena menzionare un altro pacchetto R. L' ecpanalisi punto di cambio facilita impegno di non-parametrica multivariata, che può essere utile se l'vorrebbe identificare i punti di cambiamento che avviene attraverso canali multipli.