Che tipo di problemi matematici ci sono nell'IA su cui le persone stanno lavorando?

Recentemente ho ottenuto una posizione post-dottorato di 18 mesi in un dipartimento di matematica. È una posizione con relativo dovere di insegnamento leggero e molta libertà su quale tipo di ricerca che voglio fare.

In precedenza stavo facendo principalmente alcune ricerche in probabilità e combinatoria. Ma sto pensando di fare un lavoro un po 'più orientato all'applicazione, ad es. AI. (C'è anche la considerazione che ci sono buone possibilità che non riesca a ottenere una posizione di ruolo alla fine della mia posizione attuale. Imparare un po 'di IA potrebbe essere utile per altre possibilità di carriera.)

Che tipo di problemi matematici ci sono nell'IA su cui le persone stanno lavorando? Da quello di cui ho sentito parlare, ci sono persone che studiano

• Automatico finito deterministico
• Problemi di bandito multi-armato
• Ricerca dell'albero di Monte Carlo
• Rilevamento della comunità

Qualche altro esempio?

Nell'intelligenza artificiale (a volte chiamata intelligenza artificiale o intelligenza computazionale ), ci sono diversi problemi che si basano su argomenti matematici, in particolare ottimizzazione, statistica, teoria delle probabilità, calcolo e algebra lineare.

Marcus Hutter ha lavorato su una teoria matematica per l'intelligenza generale artificiale , chiamata AIXI , che si basa su diversi concetti di scienza matematica e computazionale, come l'apprendimento di rinforzo, la teoria della probabilità (ad esempio il teorema di Bayes e argomenti correlati) , la teoria delle misure , la teoria delle informazioni algoritmiche (ad es. Complessità di Kolmogorov), ottimizzazione, induzione di Solomonoff , ricerca universale di Levin e teoria della computazione (ad es. Macchine universali di Turing). Il suo libro Intelligenza artificiale universale: decisioni sequenziali basate sulla probabilità algoritmica, che è un libro altamente tecnico e matematico, descrive la sua teoria degli agenti di apprendimento del rinforzo bayesiani non Markov ottimali.

C'è anche il campo di ricerca chiamato teoria dell'apprendimento computazionale , che è dedicato allo studio della progettazione e dell'analisi degli algoritmi di apprendimento automatico. Più precisamente, il campo si concentra sullo studio rigoroso e l'analisi matematica degli algoritmi di apprendimento automatico utilizzando tecniche di campi come la teoria della probabilità, la statistica, l'ottimizzazione, la teoria dell'informazione e la geometria. Diverse persone hanno lavorato sulla teoria dell'apprendimento computazionale, tra cui Michael Kearns e Vladimir Vapnik . C'è anche un campo correlato chiamato teoria dell'apprendimento statistico .

Esistono anche molti sforzi di ricerca dedicati alle approssimazioni (euristiche) dell'ottimizzazione combinatoria e ai problemi NP-completi , come l' ottimizzazione delle colonie di formiche .

C'è anche qualche lavoro sulla completezza dell'IA , ma questo non ha ricevuto molta attenzione (rispetto alle altre aree di ricerca sopra menzionate).

La maggior parte del lavoro di matematica svolto nell'intelligenza artificiale con cui ho familiarità è già trattato nella risposta di Nbro. Una cosa che non credo sia ancora trattata in quella risposta è dimostrare l'equivalenza algoritmica e / o derivare algoritmi equivalenti . Uno dei miei articoli preferiti su questo è Imparare a prevedere l'indipendente dalla portata di Hado van Hasselt e Richard Sutton.

L'idea di base è che possiamo prima formulare un algoritmo (in forma matematica, ad esempio alcune regole / equazioni di aggiornamento per i parametri che stiamo allenando) in un modo, e quindi trovare regole / equazioni di aggiornamento diverse (cioè un algoritmo diverso) per che possiamo dimostrare che è equivalente al primo (cioè risulta sempre nello stesso output).

Un caso tipico in cui questo è utile è se il primo algoritmo è di facile comprensione / fa appello alla nostra intuizione / è più conveniente per prove di convergenza o altre analisi teoriche e il secondo algoritmo è più efficiente (in termini di calcolo, requisiti di memoria, ecc. .).

Specificamente per l'apparato matematico delle reti neurali - teoria delle matrici casuali . La teoria della matrice casuale non asintotica è stata utilizzata in alcune prove della convergenza della discesa del gradiente per le reti neurali , paesaggi casuali ad alta dimensione in connessione con lo spettro dell'Assia hanno relazione con le superfici di perdita delle reti neurali .

L'analisi dei dati topologici è un'altra area di intensa ricerca correlata alla ML, AI e applicata alle reti neurali .

Ci sono stati alcuni lavori sulla geometria tropicale delle reti neurali

La teoria del tipo di omotopia ha anche una connessione con l'IA