Che cos'è il "backprop"?

Cosa significa "backprop"? Il termine "backprop" è sostanzialmente lo stesso di "backpropagation" o ha un significato diverso?

"Backprop" è lo stesso di "backpropagation": è solo un modo più breve per dirlo. A volte è abbreviato come "BP".

'Backprop' è l'abbreviazione di 'backpropagation of error' per evitare confusione quando si usa il termine backpropagation .

Fondamentalmente la backpropagation si riferisce al metodo per calcolare il gradiente della funzione di errore caso per caso rispetto ai pesi per una rete feedforward ^Werbos . E backprop si riferisce a un metodo di allenamento che utilizza backpropagation per calcolare il gradiente.

Quindi possiamo dire che una rete di backprop è una rete feedforward formata da backpropagation .

Il termine "backprop standard" è un eufemismo per la regola delta generalizzata che è il metodo di addestramento supervisionato maggiormente utilizzato.

Fonte: cos'è il backprop? alle FAQ del newsgroup Usenet comp.ai.neural-nets

Riferimenti:

• Werbos, PJ (1974). Oltre la regressione: nuovi strumenti per la previsione e l'analisi nelle scienze comportamentali. Tesi di dottorato, Università di Harvard.
• Werbos, PJ (1994). Le radici della backpropagation: dai derivati ​​ordinati alle reti neurali e previsioni politiche, Wiley Interscience.
• Bertsekas, DP (1995), Programmazione non lineare, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
• Bertsekas, DP e Tsitsiklis, JN (1996), Programmazione neuro-dinamica, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
• Polyak, BT (1964), "Alcuni metodi per accelerare la convergenza dei metodi di iterazione", Z. Vycisl. Stuoia. sono a. Fiz., 4, 1-17.
• Polyak, BT (1987), Introduzione all'ottimizzazione, NY: Optimization Software, Inc.
• Reed, RD, and Marks, RJ, II (1999), Neural Smithing: Supervisioned Learning in Feedforward Artificial Neural Networks, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
• Rumelhart, DE, Hinton, GE e Williams, RJ (1986), "Apprendimento delle rappresentazioni interne mediante propagazione degli errori", in Rumelhart, DE e McClelland, JL, ed. (1986), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1, 318-362, Cambridge, MA: The MIT Press.
• Werbos, PJ (1974/1994), The Roots of Backpropagation, NY: John Wiley & Sons. Include il Ph.D. di Harvard del 1974 di Werbos. tesi, Oltre la regressione.

Sì, come ha giustamente affermato Franck, "backprop" significa backpropogation, che viene spesso utilizzato nel dominio delle reti neurali per l'ottimizzazione degli errori.

Per una spiegazione dettagliata, vorrei sottolineare questo tutorial sul concetto di backpropogation di un ottimo libro di Michael Nielsen.

Nell'apprendimento automatico, il backpropagation (backprop, BP) è un algoritmo ampiamente utilizzato nella formazione di reti neurali feedforward per l'apprendimento supervisionato. Esistono generalizzazioni della backpropagation per altre reti neurali artificiali (ANN) e per le funzioni in generale - una classe di algoritmi denominata genericamente "backpropagation".

È un nome di fantasia per la regola della catena multivariabile.