Cosa significa un "vettore" in un modello Markov nascosto?

So che un modello Markov nascosto (HMM) viene utilizzato nel riconoscimento vocale e lo capisco in una certa misura. Tuttavia, ciò che non so è come l'input (discorso) viene "trasformato" in un vettore che in seguito verrà utilizzato in HMM.

Come si ottiene un vettore da un ingresso audio? Questo vettore è leggibile da un essere umano?

Il modo in cui il riconoscimento vocale viene eseguito con HTK (o qualsiasi altro strumento) è in qualche modo simile al modo in cui il riconoscimento vocale viene eseguito nel cervello. Quando senti una parola, la scomponi istantaneamente nei suoi telefoni costitutivi e poi confronta i telefoni con un "modello" mentale interno dei telefoni . Questi "modelli" sono costruiti nel corso di anni di ascolto del parlato e ti danno la possibilità di distinguere frasi dal suono simile come "Come distruggere una bella spiaggia" e "Come riconoscere il discorso". Il riconoscimento vocale con HTK o qualsiasi altro schema basato su modelli funziona in modo simile. Ecco, in pochi passaggi, ecco come lo fai:

1. Prendi il segnale vocale di input e lo converti in una rappresentazione vettoriale di funzionalità.
2. Prendi un gran numero di frasi ed esegui il passaggio 1 su ciascuna di esse.
3. Usa i vettori di funzionalità nel passaggio 2 per creare un modello statistico per ciascuno dei telefoni / parole nelle frasi (c'è un numero limitato di telefoni / parole rispetto a un numero infinito di modi per dirli - in modo da ridurre gli incogniti modellando ).
4. Quando arriva una nuova parola, suddividila in telefoni e confrontala con ciascuno dei modelli noti. Vince la sequenza di telefoni con la più alta probabilità!

Tutti i passaggi precedenti sono fondamentali per il corretto completamento di qualsiasi attività di riconoscimento vocale. Decomponendo un suono nel suo vettore caratteristica, lo stai portando in uno spazio modello, dandogli una rappresentazione che lo rende più adatto a creare un modello fuori da altre rappresentazioni (ad esempio la rappresentazione dell'ampiezza del tempo). La maggior parte di tali rappresentazioni risiede nella frequenza, o nel dominio della frequenza temporale. Una delle rappresentazioni più popolari è l' MFCC (Mel Frequency Cepstral Coefficient). In un certo senso, questa tecnica imita la risposta dell'udito umano con una serie di filtri. Un segnale di ingresso viene decomposto con questo set di filtri che hanno una spaziatura logaritmica delle loro frequenze centrali. I coefficienti MFCC di una sola frase (diciamo) vengono quindi utilizzati per modellare ciascuno dei telefoni di cui è composta la frase. Ad esempio, considera,

Frase: HI. Descrizione fonetica: hh aa ey
Quando si alimentano i coefficienti MFCC in HTK, associano i coefficienti MFCC di una parte della frase con hh, un'altra con aa e così via. Quando questo si ripete più volte, iniziano a formarsi i modelli per i telefoni.

HTK utilizza lo strumento HCopyper convertire una frase di input nella sua rappresentazione vettoriale di caratteristiche. Ci sono molti "sapori" anche nelle rappresentazioni di MFCC (rappresentazioni E_D_A o E_D_A_Z). Sarebbe una buona idea leggere la documentazione HCopyall'interno di htkbook.

I coefficienti MFCC sono scritti in un file con estensione .mfcHTK. Non è possibile leggere quel file usando nessuno degli editor di testo perché (penso) i coefficienti sono scritti in binario. Puoi provare a leggere i file con Cperò.

HTH.

Ogni onda può essere scomposta nell'aggiunta di molte altre onde. Usando una trasformata di Fourier, puoi analizzare un'onda nei suoi componenti di frequenza. L'ampiezza di questi componenti di frequenza può quindi essere utilizzata come vettore. Ecco la documentazione sulla classe Sphinx che fa questo ed ecco una buona spiegazione visiva della trasformata di Fourier.