Efficienza energetica del cervello umano rispetto alle reti neurali

Quante reti neurali artificiali possiamo gestire ora (sia con il ciclo completo del treno-backprop o semplicemente valutando le uscite della rete) se il nostro budget energetico totale per il calcolo è equivalente al budget energetico del cervello umano ( 12,6 watt )?

Supponiamo che un ciclo al secondo, che sembra corrispondere all'incirca alla frequenza di scarica dei neuroni biologici .

neural-networks human-like

— Liori
fonte

Stavo per fare questa domanda. Sono contento che lo abbia già fatto qualcun altro :)

— Eka

126 milioni di neuroni artificiali a 12,6 watt, con il vero nord di IBM

Nel 2014, il chip True North di IBM spingeva 1 milione di neuroni a meno di 100mW.

Quindi sono circa 126 milioni di neuroni artificiali a 12,6 Watt.

Un topo ha 70 milioni di neuroni.

IBM ritiene di poter costruire un mainframe True North su scala "cervello umano" a un "mero" 4kW.

Quando i transistor 3D arriveranno sul mercato, penso che riusciremo a raggiungere l'efficienza del cervello degli animali abbastanza velocemente.

— Doxosophoi
fonte

> Quindi circa 126 milioni di neuroni artificiali a 12,6 Watt. > Un topo ha 70 milioni di neuroni. Il problema è che non sappiamo se un singolo "neurone" artificiale sia veramente uno a uno equivalente per un vero neurone biologico.

— mindcrime

Oltre al crimine mentale, tieni presente che per circa 60 anni i neuroscienziati / ricercatori dell'IA hanno costantemente sottovalutato gravemente il potere di elaborazione del cervello umano. Ho visto le prime stime con grandi nomi che le nostre menti potevano memorizzare solo pochi 100 MB! Dobbiamo ancora considerare fattori come profondità di bit, architettura adeguata, possibili stati quantici nelle cellule cerebrali, ecc. IBM potrebbe probabilmente costruire una rete neurale da 70 milioni di neuroni efficiente dal punto di vista energetico che non può nemmeno approssimare il comportamento dei parassiti di un topo . I ricercatori dell'IA hanno sempre storicamente sopravvalutato le proprie capacità.

— SQLServerSteve

In effetti, ho dimenticato i chip IBM. Non li ho nemmeno presi in considerazione quando ho scritto la domanda, in quanto vi sono critiche note sulla loro efficienza (vedi ad esempio facebook.com/yann.lecun/posts/10152184295832143 ). Sebbene tecnicamente implementino ancora reti neurali, quindi +1 da parte mia.

— liori,

@mindcrime & SQLServerSteve Bene, la domanda avrebbe potuto riguardare in particolare le ANN di avanzamento vanilla in esecuzione su hardware di serie. Questa non è l'impressione che ho avuto dalla domanda però.

— Doxosophoi,

Né sembrava riguardare reti neurali artificiali che non sono ancora state immaginate.

— Doxosophoi,

Se ti limitassi a 12,6 watt, non faresti molto. Basta cercare il consumo energetico di una GPU moderna, osservare le dimensioni delle reti su cui le persone si stanno allenando e quindi ridimensionare. Per riferimento, le GPU moderne sembrano consumare tra 52-309 watt in condizioni di utilizzo intenso .

Chiaramente l'efficienza energetica è un'area in cui il cervello umano è ancora molto a capo dell'ANN.

— Mindcrime
fonte