Mi piace la risposta di aeismail, ma fornirò una prospettiva alternativa.
Nell'ottimizzazione, è impossibile imparare davvero il campo senza capire l'analisi reale. Ancor prima di affrontare i problemi numerici, è necessario comprendere le nozioni di convergenza delle sequenze, poiché si dimostrerà in classi che gli algoritmi convergono. Dovrai comprendere concetti come continuità e differenziabilità a più di un livello superficiale. Di conseguenza, l'analisi reale è un prerequisito per i corsi di programmazione non lineare.
La mia tesi riguarda metodi per risolvere equazioni differenziali ordinarie. I problemi di convergenza, in particolare cose come "se riduco la mia tolleranza di errore locale, la mia soluzione numerica calcolata si avvicina alla vera soluzione delle equazioni che sto risolvendo" sono ancora problemi che richiedono un'analisi reale. Per sviluppare la teoria dei problemi di convergenza mi è stato richiesto (contro i desideri dei miei consulenti) di fare due semestri di analisi reale. (Ha pagato con un paio di manoscritti.)
Tuttavia, so che ci sono persone là fuori che sopravvivono abbastanza bene con metodi numerici e HPC senza prendere lezioni di matematica pura. Dipende molto dalla nicchia che vuoi occupare.
Se vuoi sviluppare nuovi metodi, allora le lezioni di teoria sono utili. Le lezioni di teoria sono utili anche per l'alfabetizzazione matematica generale; leggere i documenti di matematica diventa molto, molto più semplice.
Se si desidera applicare metodi numerici specifici ai problemi, le classi dei metodi numerici sono più utili. Credo che questa prospettiva provenga dall'eismail, ed è una situazione più comune per gli ingegneri. (Dichiarazione di non responsabilità: ci conosciamo e siamo diplomati nello stesso dipartimento.)
Per quanto riguarda HPC, l'impressione che ho avuto è che l'esperienza sia l'insegnante migliore. Ho seguito un corso di programmazione parallelo, ed è stato leggermente utile, ma il messaggio principale della classe era provare cose e vedere se funzionavano. Se è importante per la tua ricerca di tesi, otterrai esperienza in HPC. In caso contrario, non lo farai e probabilmente non importerà fino a quando non desideri cambiare marcia e affrontare i problemi dell'HPC. La mia tesi non è stata particolarmente pesante per HPC, almeno in termini di ciò che programma, quindi non ho avuto bisogno di acquisire quel set di competenze.
Per concludere, dovresti probabilmente concentrarti sull'acquisizione di conoscenze su questioni relative al tuo problema di tesi, tenere a mente ciò che pensi di voler fare in futuro e decidere quale ampio contesto generale devi comunicare con altri ricercatori nel comunità a cui vuoi unirti. Il tuo dottorato sarà una delle ultime opportunità per prendere lezioni e, se pensi di voler imparare la teoria matematica (o qualsiasi altra materia, davvero), impararla da sola è considerevolmente più difficile senza stabilire una sorta di base competenza prima.