Risorse di programmazione audio [chiuso]

Sono stato molto interessato negli ultimi mesi a entrare nella programmazione audio (vengo da un sottofondo musicale). Sono uno sviluppatore .NET da due anni e recentemente ho anche fatto qualche obiettivo c per un'app per iPhone. Mi rendo conto che probabilmente avrei bisogno di lavorare sulle mie costolette di C ++ e di aver giocato con FMOD EX e di aver fatto molte ricerche nel settore.

Mi chiedevo solo se qualcuno potesse suggerire alcune buone risorse per la programmazione audio (siano essi siti Web, podcast, libri, video, corsi online ecc.). Qualsiasi cosa, dall'analisi di Fourier, codifica di basso livello, creazione di motori audio e API audio. Voglio solo imparare il più possibile!

Grazie in anticipo.

La maggior parte delle voci della serie di libri Game Programming Gems ha un'intera sezione dedicata alla programmazione audio. Per una panoramica di alcuni degli argomenti trattati, controlla il seguente link:

http://www.aiwisdom.com/audio_all.html

L'elenco non è completo, in quanto manca le voci nel 7 ° e nell'8 ° libro, quindi verificalo con il sommario completo fornito da Zolomon nei commenti:

http://zolomon.com/gpg/index.html

La rivista Game Developer ha anche una rubrica mensile sulla programmazione audio:

http://www.gdmag.com/

The Audio Programming Book di Richard Boulanger e Victor Lazzarini MIT press

Ci sono un paio di aree diverse per l'audio: algoritmi DSP vs gestione delle risorse e riproduzione audio intelligente.

DSP riguarda filtri e trasformazioni di Fourier e HRTF e tutte quelle cose divertenti.

Buone risorse DSP:

• Rab lo ha già menzionato , ma è così bello che devo ripeterlo. Il libro di programmazione audio di Richard Boulanger e Victor Lazzarini è probabilmente il punto di partenza migliore. Funziona anche come un'introduzione abbastanza approfondita a C. L'inizio potrebbe essere un po 'lento per te, ma discute alcuni idiomi C (occasionalmente obsoleti, a volte no, ma sempre utili e interessanti) e introduce alcune cose fondamentali fondamentali sul suono di te potrebbe non esserci mai stato prima.

• musicdsp.org : un archivio di algoritmi, di solito in C

• Mailing list MUSIC-DSP alla Columbia

• Tutorial di dspGuru

• Chi è Fourier? : Un libro davvero interessante scritto per darti una comprensione fondamentale della trasformata di Fourier. Scritto esclusivamente con l'intenzione di esplorare come spiegare concetti matematici complessi ai giovani studenti. Di conseguenza, se sei un po 'debole nella tua matematica di livello superiore, questo ti aiuterà a gracchiare tutto.

• Digital Signal Processing Primer di Ken Steiglitz

• Poiché hai svolto il lavoro Objective-C, consulta la guida alla programmazione AudioUnit di Apple

D'altro canto, la "gestione patrimoniale" è un po 'vaga e riguarda principalmente i formati di container, i codec e lo streaming. I codec percettivi sono la vera carne da studiare qui. Fortunatamente non ho molto da offrire lì (sembra che tu abbia bisogno di un dottorato di ricerca per capire la maggior parte di queste cose). Ma ci sono molte librerie / API per portare a termine il lavoro:

• XAudio
• ALSA
• CoreAudio
• OpenAL e OpenAL Soft
• FMOD Ex
• libsndfile
• PortAudio
• libao

La riproduzione audio intelligente è altre cose divertenti. Questa non è terribilmente matica come lo è DSP, e quello che finisci per fare molto tempo è gestire la gestione della voce e gli spunti musicali. Non ci sono così tante conoscenze tecniche specifiche, si tratta più di progettazione e creazione di strumenti e sistemi di riproduzione per supportare tale progettazione.

... il commento immortale di Brian Schmidt "Chiunque pensi ancora che ci sia una relazione 1: 1 tra un suono e un file WAV non lo capisce."

Scarica Wwise e inizia a leggere i loro documenti sia per gli strumenti di creazione che per l'API. Fai lo stesso per FMOD Designer e FMOD Studio . Questi ti danno un'idea degli strumenti di "livello superiore" che i sound designer del gioco usano per implementare i contenuti.

Un altro buono da verificare è Fabric . Fondamentalmente, la pipeline audio di Unity fa schifo e questo plugin cerca di renderlo migliore. È possibile ottenere una versione di valutazione gratuitamente.

Come musicista, immagina l'interfaccia ideale con cui vuoi descrivere la musica di gioco interattiva e gli effetti sonori, questo è ciò che questi strumenti mirano a fornire. Se hai familiarità con ciò che è già in circolazione e come supporta i sound designer e i compositori, puoi iniziare a pensare alle tue soluzioni su come fare le cose meglio.

Altre risorse:

• Peter "pdx" Drescher ha scritto un fantastico articolo sull'implementazione dell'API FMOD Designer su Android con JNI.

• IASIG e iXMF , lo standard di specifiche della musica interattiva non ancora completato con alcune idee interessanti.

• Rilevanza audio di gioco Bit assortiti di progettazione del suono di gioco e programmazione audio

• Il tutorial audio del gioco Un libro che ha lo scopo di insegnare ai sound designer a implementare il suono in UDK mentre insegna i principi di progettazione del suono del gioco. Gran parte si tratta di combattere l'audio di UDK e Kismet, ma ancora una volta è utile vedere cose dal lato non programmatore.

• http://www.procedural-audio.com/ <- Link esplicativo

Certo, come hai detto API dovrò menzionare openAL e FMOD è già stato menzionato.

Ecco alcune risorse per OpenAL:

http://www.edenwaith.com/products/pige/tutorials/openal.php
http://enigma-dev.org/forums/index.php?topic=730.0

Alcune risorse FMOD:

Una guida rapida a FMOD

http://www.gamesounddesign.com/forum/viewtopic.php?f=4&t=241 (avevo questo in giro e non ho ispezionato troppo i tutorial)

http://jerome.jouvie.free.fr/nativefmodex/tutorials/Tutorial03.php

Trasformata di Fourier veloce:

http://www.fftw.org/
http://www.codeproject.com/Articles/9388/How-to-implement-the-FFT-algorithm
http://www.drdobbs.com/cpp/199500857

Inoltre alcune informazioni generali su come viene rappresentato l'audio:

http://blogs.msdn.com/b/dawate/archive/2009/06/22/intro-to-audio-programming-part-1-how-audio-data-is-represented.aspx

Questi sono praticamente tutti i collegamenti che avevo in giro e alcuni avevo cercato su Google, ma spero che almeno aiutino un po '.

OpenAL è stato menzionato - l'altra grande libreria è XAudio 2 che puoi usare per lo sviluppo di x360 e pc - anche se credo che OpenAL sia supportato su x360 e sarà senza dubbio un livello sopra XAudio 2