Geometria e AI
Matrici, cubi, strati, pile e gerarchie sono ciò che potremmo definire con precisione topologie . Considerare la topologia in questo contesto la progettazione geometrica di livello superiore di un sistema di apprendimento.
Con l'aumentare della complessità, è spesso utile rappresentare queste topologie come strutture grafiche dirette. I diagrammi di stato e il lavoro di Markov sulla teoria dei giochi sono due luoghi in cui i grafici diretti sono comunemente usati. I grafici diretti hanno vertici (spesso visualizzati come forme chiuse) e bordi spesso visualizzati come frecce che collegano le forme.
Possiamo anche rappresentare i GAN come un grafico diretto, in cui l'output di ciascuna rete guida la formazione dell'altro in modo contraddittorio. I GAN assomigliano topologicamente a una striscia di Möbius.
Non possiamo scoprire nuovi progetti e architetture senza comprendere non solo la matematica della convergenza su una soluzione ottimale o il monitoraggio di una, ma anche topologie di connessioni di rete in grado di supportare tale convergenza. È come prima sviluppare un processore immaginando di cosa avrebbe bisogno un sistema operativo prima di scrivere il sistema operativo.
Per intravedere quali topologie NON ABBIAMO ANCORA preso in considerazione, diamo prima un'occhiata a quali sono state.
Step One - Estrusione in una seconda dimensione
Negli anni '80, il successo fu raggiunto con l'estensione del design originale del percettrone. I ricercatori hanno aggiunto una seconda dimensione per creare una rete neurale a più livelli. La ragionevole convergenza è stata ottenuta attraverso la retro-propagazione del gradiente di una funzione di errore attraverso i gradienti delle funzioni di attivazione attenuati dai tassi di apprendimento e smorzati con altri meta-parametri.
Fase due: aggiunta di dimensioni al segnale di ingresso discreto
Vediamo l'emergere di reti convoluzionali basate su tecniche di convoluzione dell'immagine sintonizzate manualmente che introducono dimensioni nell'input di rete: posizione verticale, componenti di colore e cornice. Quest'ultima dimensione è fondamentale per la CGI, la sostituzione del viso e altre tecniche morfologiche nella produzione cinematografica contemporanea. Senza di essa, abbiamo la generazione di immagini, la categorizzazione e la rimozione del rumore.
Passaggio tre: pile di reti
Vediamo emergere pile di reti neurali alla fine degli anni '90, dove l'addestramento di una rete è supervisionato da un'altra. Questa è l'introduzione di strati concettuali, né nel senso di strati sequenziali di neuroni né nel senso di strati di colore in un'immagine. Anche questo tipo di stratificazione non è ricorsione. È più simile al mondo naturale in cui una struttura è un organo all'interno di un altro tipo di struttura completamente diversa.
Quarto passaggio - Gerarchie di reti
Vediamo gerarchie di reti neurali che compaiono frequentemente nella ricerca che risale agli anni 2000 e all'inizio del 2010 (Laplaciano e altri), che continua l'interazione tra reti neurali e continua l'analogia del cervello dei mammiferi. Ora vediamo la meta-struttura, in cui intere reti diventano vertici in un grafico diretto che rappresenta una topologia.
Step 5% mdash; Partenze dall'orientamento cartesiano
In letteratura hanno cominciato a emergere sistematicamente ripetizioni non cartesiane di cellule e connessioni tra loro. Ad esempio, Gauge Equivariant Convolutional Networks e Icosahedral CNN (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) esaminano l'uso di una disposizione basata su un icosaedro regolare convesso.
Riassumendo
I livelli hanno funzioni di attivazione valutate normalmente per vertici e matrici di attenuazione mappati su un insieme esaustivo di bordi diretti tra strati adiacenti [1]. Gli strati di convoluzione dell'immagine sono spesso disposti in vertici bidimensionali con cubi di attenuazione mappati su una serie ridotta di bordi diretti tra strati adiacenti [2]. Le pile hanno intere reti stratificate come vertici in un meta-grafico e questi meta-vertici sono collegati in una sequenza con ogni bordo che può essere un meta-parametro di allenamento, un segnale di rinforzo (feedback in tempo reale) o qualche altro controllo di apprendimento . Le gerarchie di reti riflettono l'idea che più controlli possono essere aggregati e dirigono l'apprendimento di livello inferiore o il caso inverso in cui più elementi di apprendimento possono essere controllati da una rete di supervisori di livello superiore.
Analisi dell'andamento delle topologie di apprendimento
Siamo in grado di analizzare le tendenze nell'architettura di apprendimento automatico. Abbiamo tre tendenze topologiche.
Profondità nella dimensione di causalità - Livelli per l'elaborazione del segnale in cui l'uscita di uno strato di attivazioni viene alimentata attraverso una matrice di parametri attenuanti (pesi) all'ingresso del livello successivo. Man mano che vengono stabiliti controlli maggiori, solo a partire dalla discesa gradiente di base nella propatagione posteriore, è possibile ottenere una profondità maggiore.
Dimensionalità del segnale di input: dall'input scalare agli ipercubi (il video ha una profondità di colore orizzontale, verticale, compresa la trasparenza e il frame). Notare che questo non è lo stesso del numero di input in senso perctron.
Sviluppo topologico - I due precedenti sono di natura cartesiana. Le quote vengono aggiunte ad angolo retto rispetto alla dimensione esistente. Poiché le reti sono cablate in gerarchie (come nelle Gerarchie Laplaciane) e Möbius si spogliano come cerchi (come nelle GAN), le tendenze sono topografiche e sono meglio rappresentate da grafici diretti in cui i vertici non sono neuroni ma reti più piccole di essi.
Quali topologie mancano?
Questa sezione espande il significato della domanda del titolo.
- C'è qualche motivo per cui più meta-vertici, ognuno dei quali rappresenta una rete neurale, possono essere organizzati in modo tale che più meta-vertici di supervisore possano, congiuntamente, supervisionare più meta-vertici di dipendenti?
- Perché la retro-propagazione di un segnale di errore è l'unico equivalente non lineare del feedback negativo?
- Non è possibile utilizzare la collaborazione tra meta-vertici anziché supervisione, in cui vi sono due fronti reciproci che rappresentano i controlli?
- Poiché le reti neurali sono utilizzate principalmente per l'apprendimento di fenomeni non lineari, perché proibisce altri tipi di percorsi chiusi nella progettazione delle reti o della loro interconnessione?
- C'è qualche motivo per cui il suono non può essere aggiunto all'immagine in modo che i video clip possano essere classificati automaticamente? In tal caso, una sceneggiatura è una possibile estrazione di funzionalità di un film e un'architettura contraddittoria può essere utilizzata per generare sceneggiature e produrre film senza il sistema di studio cinematografico? Come sarebbe quella topologia come un grafico diretto?
- Sebbene le celle disposte ortogonalmente possano simulare una disposizione arbitraria di impaccamento regolare di vertici e bordi non ortogonali, è efficace farlo in visione artificiale dove l'inclinazione della videocamera diversa da più o meno di 90 gradi è comune?
- È efficiente organizzare singole cellule in reti o reti di cellule nei sistemi di intelligenza artificiale ortogonalmente in sistemi di apprendimento che mirano alla comprensione e all'assemblaggio del linguaggio naturale o alla cognizione artificiale?
Appunti
Le cellule artificiali nelle MLP usano funzioni di trasferimento aritmetico a virgola mobile o fissa piuttosto che trasmissioni di impulsi elettrochimici basate sull'ampiezza e sulla soglia basata sulla prossimità. Non sono simulazioni realistiche di neuroni, quindi chiamare i vertici neuroni sarebbe un termine improprio per questo tipo di analisi.
La correlazione delle caratteristiche dell'immagine e i relativi cambiamenti tra i pixel nelle immediate vicinanze è molto più elevata di quella dei pixel distanti.