L'intelligenza artificiale è vulnerabile all'hacking?

27

L'articolo The Limitations of Deep Learning in Adversarial Settings esplora come le reti neurali potrebbero essere corrotte da un utente malintenzionato in grado di manipolare il set di dati con cui si allena la rete neurale. Gli autori sperimentano una rete neurale intesa a leggere cifre scritte a mano, minando la sua capacità di lettura distorcendo i campioni di cifre scritte a mano con cui la rete neurale viene allenata.

Sono preoccupato che attori maliziosi potrebbero provare a violare l'IA. Per esempio

Imbrogliare veicoli autonomi per interpretare erroneamente i segnali di stop rispetto al limite di velocità.
Bypassare il riconoscimento facciale, come quelli per ATM.
Bypassare i filtri antispam.
Analisi del sentimento da imbroglio di recensioni di film, hotel, ecc.
Bypassare i motori di rilevamento delle anomalie.
Comandi vocali fasulli.
Previsioni mediche basate sull'apprendimento automatico non classificanti.

Quale effetto avversario potrebbe sconvolgere il mondo? Come possiamo prevenirlo?

— Surya Sg
fonte

6

Considera che l' intelligenza umana è vulnerabile all'hacking

— Gaius,

Interessante. Ti interessano i "modelli di rischio delle impostazioni avversarie" o qualcosa di più vicino a una tradizionale risposta alla sicurezza informatica, ma ancora in modo diretto sull'intelligenza artificiale? Auguri.

— Rivelazioni tautologiche

19

L'intelligenza artificiale è vulnerabile da due punti di vista della sicurezza come la vedo io:

Il metodo classico di sfruttamento di errori programmatici definitivi per ottenere una sorta di esecuzione di codice sulla macchina che esegue l'IA o per estrarre dati.
Trucchi attraverso l'equivalente di illusioni ottiche AI per la particolare forma di dati che il sistema è progettato per gestire.

Il primo deve essere mitigato allo stesso modo di qualsiasi altro software. Non sono sicuro che l'IA sia più vulnerabile su questo fronte rispetto ad altri software, sarei propenso a pensare che la complessità forse aumenti leggermente il rischio.

Il secondo è probabilmente mitigato al meglio sia dall'attenta raffinatezza del sistema, come notato in alcune delle altre risposte, sia dal rendere il sistema più sensibile al contesto; molte tecniche contraddittorie si basano sull'input che viene valutato nel vuoto.

— Christopher Griffith
fonte

1

La divisione tra vulnerabilità del codice e vulnerabilità dell'utilizzo è buona. Tuttavia, le vulnerabilità del codice sono in genere minuscole nell'intelligenza artificiale. La complessità dell'IA sta nei dati, sia che si tratti dei pesi dei nodi in una rete neurale o degli alberi in una foresta casuale. C'è solo un po 'di codice per alimentare l'IA, e il rischio principale è non alimentarlo eccessivamente: un classico rischio di overflow del buffer, facilmente mitigato dalle tecniche della fine del XX secolo.

— MSalters,

@MSalters Penso che sia difficile trarre una conclusione generale perché la complessità del codice può variare molto tra i diversi tipi di agenti AI (penso che il tuo commento sia ampiamente accurato per le reti neurali). Inoltre, sebbene i dati e la loro manipolazione siano probabilmente la più grande superficie di attacco, non sarebbe saggio scontare lo stesso tipo di attacchi che in passato hanno permesso l'esecuzione di codice in remoto tramite file di immagini compromessi che hanno sfruttato i difetti nelle applicazioni di visualizzazione delle immagini. Il vettore sono i dati che vengono passati, ma credo che il comportamento rientri ancora nell'intestazione della vulnerabilità del codice.

— Christopher Griffith,

7

Programmatore vs programmatore

È una "guerra infinita": programmatori contro programmatori. Tutto può essere hackerabile. La prevenzione è legata al livello di conoscenza del professionista responsabile della sicurezza e dei programmatori nella sicurezza delle applicazioni.

es. Esistono diversi modi per identificare un utente che cerca di confondere le metriche generate da Sentiment Analysis, ma ci sono anche modi per aggirare questi passaggi. È una lotta piuttosto noiosa.

Agente vs Agente

Un punto interessante che @DukeZhou ha sollevato è l'evoluzione di questa guerra, che coinvolge due intelligenze artificiali (agenti). In tal caso, la battaglia è una delle più informate. Qual è il modello meglio addestrato, sai?

Tuttavia, per raggiungere la perfezione nel problema della vulnerabilità, l'intelligenza artificiale o la superintelligenza artificiale superano la capacità di eludere l'uomo. È come se la conoscenza di tutti gli hack fino ad oggi esistesse già nella mente di questo agente e ha iniziato a sviluppare nuovi modi per aggirare il proprio sistema e sviluppare protezione. Complesso, vero?

Credo che sia difficile avere un'intelligenza artificiale che pensa: "L'umano userà una foto invece di mettere il suo viso per essere identificato?"

Come possiamo prevenirlo

Avere sempre un essere umano che supervisiona la macchina, eppure non sarà efficace al 100%. Ciò non tiene conto della possibilità che un agente possa migliorare il proprio modello da solo.

Conclusione

Quindi penso che lo scenario funzioni in questo modo: un programmatore tenta di aggirare le convalide di un'intelligenza artificiale e lo sviluppatore di IA che acquisisce conoscenza attraverso registri e test cerca di costruire un modello più intelligente e sicuro, cercando di ridurre le possibilità di fallimento.

— Guilherme IA
fonte

3

Bella risposta. (imo, dovrebbe essere la risposta accettata, ma è necessario fornire supporto o collegamenti.) a prescindere, la logica è corretta, anche se penso che questo inizierà a estendersi oltre il programmatore rispetto al programmatore all'agente contro l'agente man mano che i nuovi algoritmi aumentano in raffinatezza e intraprendere queste strategie senza stimoli umani.

— DukeZhou

1

Aggiornato! Buon punto @DukeZhou

— Guilherme IA

6

Come possiamo prevenirlo?

Esistono diversi lavori sulla verifica dell'IA. I verificatori automatici possono dimostrare le proprietà di robustezza delle reti neurali. Significa che se l'ingresso X dell'NN è perturbato non più di un dato limite ε (in alcune metriche, ad esempio L2), allora l'NN fornisce la stessa risposta su di esso.

Tali verificatori sono effettuati da:

Stanford: https://arxiv.org/pdf/1702.01135.pdf
ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
Bosch: https://arxiv.org/pdf/1805.10265.pdf

Questo approccio può aiutare a verificare le proprietà di robustezza delle reti neurali. Il prossimo passo è costruire una tale rete neurale, che ha richiesto robustezza. Alcuni dei documenti sopra contengono anche metodi su come farlo.

Esistono diverse tecniche per migliorare la robustezza delle reti neurali:

formazione contraddittoria (vedi ad esempio A. Kurakin et al., ICLR 2017 )
distillazione difensiva (vedi ad esempio N. Papernot et al., SSP 2016 )
Difesa MMSTV ( Maudry et al., ICLR 2018 ).

Almeno l'ultimo può dimostrare che NN è più robusto. Più letteratura può essere trovata qui .

— Ilya Palachev
fonte

2

Sembra un'affermazione impossibile ... a meno che non si tratti di alcuni ingressi particolari X, piuttosto che di ingressi generali X? In tal caso, sembra non dire quasi nulla sull'hackability, dal momento che gli input non devono essere limitati alle perturbazioni di coloro che sono in formazione?

— Mehrdad,

1

@Mehrdad: Probabilmente è realizzabile in senso probabilistico se lo spazio di input è sufficientemente strutturato da poterlo campionare casualmente. Vale a dire, probabilmente è possibile stabilire che per il 95% dei possibili ingressi, il 95% dei disturbi inferiori a ε non influisce sull'etichetta della classe. Ciò equivale a stabilire che il bordo tra le classi di output nello spazio di input è liscio o che la maggior parte dello spazio di input non si trova vicino a un bordo di classe. Ovviamente una parte dello spazio di input deve trovarsi vicino a un bordo di classe.

— MSalters,

Non sono sicuro che ciò si applicherebbe nel caso "contraddittorio" descritto nel documento: Lì, (IIRC) viene aggiunto un gradiente retro-propagato all'intera immagine, quindi la modifica all'input completo può essere piuttosto grande - anche se la modifica per ogni singolo pixel è appena percettibile.

— Niki,

@MSalters: suppongo, sì. Ma poi questo sembra svalutarlo un po 'a meno che tu non possa effettivamente mostrare che le immagini che si trovano su un confine di classe dovrebbero effettivamente essere su un confine di classe ...

— Mehrdad,

La frase "Il prossimo passo è costruire una tale rete neurale, che ha richiesto robustezza" è sotto ricerca. In generale è molto difficile sbarazzarsi del problema di non robustezza di NN. Ma è possibile migliorare la robustezza con l'addestramento avversario (vedi ad esempio A. Kurakin et al., ICLR 2017 ), distillazione difensiva (vedi ad esempio N. Papernot et al., SSP 2016 ), difesa MMSTV ( Maudry et al., ICLR 2018 ). Almeno l'ultimo può dimostrare che NN è più robusto.

— Ilya Palachev,

4

Credo di si, nessun sistema è sicuro, tuttavia non sono sicuro di poterlo dire dopo 20-30 anni di sviluppo / evoluzione dell'IA. Ad ogni modo, ci sono articoli che mostrano che gli esseri umani ingannano l'IA (Computer Vision).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

— Akio
fonte

4

L'intelligenza artificiale è vulnerabile all'hacking?

Invertire la domanda per un momento e pensare:

Cosa renderebbe l'IA meno rischiosa di hacking rispetto a qualsiasi altro tipo di software?

Alla fine, il software è software e ci saranno sempre bug e problemi di sicurezza. Le IA sono a rischio per tutti i problemi a cui il software non AI è a rischio, poiché l'IA non gli garantisce una sorta di immunità.

Per quanto riguarda la manomissione specifica dell'intelligenza artificiale, l'IA è a rischio di ricevere false informazioni. A differenza della maggior parte dei programmi, la funzionalità di AI è determinata dai dati che consuma.

Per un esempio del mondo reale, alcuni anni fa Microsoft ha creato un chatbot di intelligenza artificiale chiamato Tay. La gente di Twitter ha impiegato meno di 24 ore per insegnargli a dire "Costruiremo un muro e il Messico lo pagherà":

(Immagine tratta dall'articolo di Verge collegato di seguito, non rivendico alcun merito.)

E questa è solo la punta dell'iceberg.

Alcuni articoli su Tay:

Ora immagina che non fosse un bot di chat, immagina che fosse un pezzo importante di AI di un futuro in cui l'IA è responsabile di cose come non uccidere gli occupanti di un'auto (cioè un'auto a guida autonoma) o non uccidere un paziente il tavolo operatorio (ovvero una specie di attrezzatura di assistenza medica).

Certo, si spera che tali AI siano meglio protetti da tali minacce, ma supponendo che qualcuno abbia trovato un modo per alimentare una tale massa di informazioni false di intelligenza artificiale senza essere notato (dopo tutto, i migliori hacker non lasciano traccia), che davvero potrebbe significare la differenza tra vita e morte.

Usando l'esempio di un'auto a guida autonoma, immagina se i dati falsi potrebbero far pensare all'auto di dover fare un arresto di emergenza quando si trova su un'autostrada. Una delle applicazioni dell'IA medica sono le decisioni di morte o morte nel pronto soccorso, immagina se un hacker potrebbe ribaltare le scale a favore di una decisione sbagliata.

Come possiamo prevenirlo?

In definitiva, l'entità del rischio dipende da come gli umani dipendenti si affidano all'intelligenza artificiale. Ad esempio, se gli umani prendessero il giudizio di un'intelligenza artificiale e non lo mettessero mai in discussione, si apriranno a ogni sorta di manipolazione. Tuttavia, se usano l'analisi dell'intelligenza artificiale solo come una parte del puzzle, sarebbe più facile individuare quando un'intelligenza artificiale è sbagliata, sia attraverso mezzi accidentali o dannosi.

Nel caso di un decisore medico, non solo credere all'intelligenza artificiale, eseguire test fisici e ottenere anche alcune opinioni umane. Se due medici non sono d'accordo con l'IA, getta via la diagnosi dell'IA.

Nel caso di un'auto, una possibilità è avere diversi sistemi ridondanti che devono essenzialmente "votare" su cosa fare. Se un'auto avesse più IA su sistemi separati che devono votare quale azione intraprendere, un hacker dovrebbe eliminare più di una sola IA per ottenere il controllo o causare una situazione di stallo. È importante sottolineare che se gli IA funzionavano su sistemi diversi, lo stesso sfruttamento usato su uno non poteva essere fatto su un altro, aumentando ulteriormente il carico di lavoro dell'hacker.

— Pharap
fonte

1

Mi piace l'idea di avere diversi sistemi di intelligenza artificiale separati che devono raggiungere un accordo come tecnica di mitigazione. Anche se poi dovresti essere certo che qualsiasi meccanismo di voto che hanno usato non potrebbe essere compreso per fingere una decisione.

— Christopher Griffith,

@ChristopherGriffith True, questo è un rischio. Nel caso dell'auto, il modo migliore per mitigarlo è progettare il sistema in modo tale che un utente malintenzionato abbia bisogno di un accesso fisico per manipolarlo e renderlo difficile da raggiungere in modo che la persona debba entrare nell'auto per accedervi. Mantenere un sistema offline è generalmente una buona contromisura di hacking, sebbene non sempre ideale.

— Pharap,

1

Concordo con Akio che nessun sistema è completamente sicuro, ma il take away è che i sistemi di intelligenza artificiale sono meno inclini agli attacchi rispetto ai vecchi sistemi a causa della capacità di migliorare costantemente.

Col passare del tempo sempre più persone entreranno sul campo portando nuove idee e hardware migliorerà in modo che siano "un'intelligenza artificiale forte".