Perché le reti neurali sono facilmente ingannabili?

Ho letto alcuni articoli sull'immaginazione manuale di immagini per "ingannare" una rete neurale (vedi sotto).

Questo perché le reti modellano solo la probabilità condizionale ? Se una rete può modellare la probabilità congiunta p ( y , x ) , si verificheranno comunque casi del genere?$p(y|x)$
$p(y,x)$

La mia ipotesi è che tali immagini generate artificialmente siano diverse dai dati di allenamento, quindi hanno una bassa probabilità . Quindi p ( y , x ) dovrebbe essere basso anche se p ( y | x ) può essere alto per tali immagini.$p(x)$$p(y,x)$$p(y|x)$

Aggiornare

Ho provato alcuni modelli generativi, non è stato utile, quindi immagino che questa sia una conseguenza dell'MLE?

Nel caso in cui la divergenza KL sia usata come funzione di perdita, il valore di dove p d a t a ( x ) è piccolo non influisce sulla perdita. Quindi, per un'immagine forzata che non corrisponde a p d a t a , il valore di p θ può essere arbitrario.$p_{\theta}(x)$$p_{data}(x)$$p_{data}$$p_{\theta}$

Aggiornare

Ho trovato un blog di Andrej Karpathy che mostra

Questi risultati non sono specifici di immagini, ConvNets e non sono neppure un "difetto" nel Deep Learning.

SPIEGAZIONE E CABLAGGIO DI ESEMPI AVVERSARI Le reti neurali profonde sono facilmente imbrogliate: previsioni di elevata fiducia per immagini irriconoscibili

Il tipo di modelli a cui ti riferisci sono chiamati modelli "generativi" rispetto a quelli discriminatori e non si adattano realmente a dati ad alta dimensione. Parte dei successi di NN nelle attività linguistiche è il passaggio da un modello generativo (HMM) a un modello "più" discriminatorio (ad esempio MEMM utilizza la regressione logistica che consente di utilizzare efficacemente i dati contestuali https://en.wikipedia.org/ wiki / Hidden_Markov_model # Extensions )

Direi che la ragione per cui sono ingannati è un problema più generale. È l'attuale predominio dell'IA basata su ML "superficiale" rispetto a metodi più sofisticati. [in molti articoli si dice che anche altri modelli ML possono essere facilmente ingannati - http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html - Ian Goodfellow]

il "modello linguistico" più efficace per molte attività è la "borsa delle parole". Nessuno affermerebbe che questo rappresenta un modello significativo del linguaggio umano. non è difficile immaginare che questo tipo di modelli sia facilmente ingannabile.

allo stesso modo compiti di visione al computer come il riconoscimento di oggetti sono stati rivoluzionati da una "sacca visiva di parole" che ha spazzato via i metodi più intensivi dal punto di vista computazionale (che non potevano essere applicati a enormi set di dati).

CNN se direi una migliore "borsa visiva di parole" - come mostri nelle tue immagini, gli errori vengono commessi a livello di pixel / caratteristiche di basso livello; nonostante tutta l'iperbole non esiste una rappresentazione di alto livello negli strati nascosti (tutti commettono errori, il punto è che una persona commetterebbe "errori" a causa di caratteristiche di livello superiore e, ad esempio, riconoscerebbe un cartone animato di un gatto, che io non dico " non credo che un NN lo farebbe).

Un esempio di un modello più sofisticato di visione artificiale (che funziona peggio di NN) è ad esempio il modello delle "parti deformabili".

Per quanto ne so, la maggior parte delle reti neurali non utilizza una distribuzione di probabilità a priori sulle immagini di input. Tuttavia, è possibile interpretare la selezione del set di allenamento in modo tale da distribuire tale probabilità. In tale prospettiva, è improbabile che queste immagini generate artificialmente vengano raccolte come immagini nel set di test. Un modo per misurare la "probabilità congiunta" sarebbe generare casualmente immagini e quindi etichettarle. Il problema sarebbe che la vasta maggioranza VAST non avrebbe alcuna etichetta. Quindi per ottenere un numero ragionevole di esempi etichettati richiederebbe troppo tempo.