Quali sono alcune utili tecniche di aumento dei dati per reti neurali convoluzionali profonde?

Sfondo: Di recente ho compreso a un livello più profondo l'importanza dell'aumento dei dati durante l'addestramento di reti neurali convoluzionali dopo aver visto questo eccellente discorso di Geoffrey Hinton .

Spiega che le reti neurali convoluzionali della generazione attuale non sono in grado di generalizzare il quadro di riferimento dell'oggetto in prova, rendendo difficile per una rete comprendere veramente che le immagini speculari di un oggetto sono le stesse.

Alcune ricerche hanno cercato di porre rimedio a questo. Ecco uno dei tanti molti esempi . Penso che ciò contribuisca a stabilire quanto sia importante oggi l'aumento di dati critici durante l'addestramento di reti neurali convoluzionali.

Le tecniche di aumento dei dati sono raramente confrontate tra loro. Quindi:

Domande:

• Quali sono alcuni articoli in cui i praticanti hanno riportato prestazioni eccezionalmente migliori?

• Quali sono alcune tecniche di aumento dei dati che hai trovato utili?

Sez. 1: Aumento dei dati Poiché le reti profonde devono essere addestrate su un numero enorme di immagini di allenamento per ottenere prestazioni soddisfacenti, se il set di dati di immagine originale contiene immagini di allenamento limitate, è meglio eseguire l'aumento dei dati per migliorare le prestazioni. Inoltre, l'aumento dei dati diventa la cosa da fare durante l'addestramento di una rete profonda.

• Esistono molti modi per aumentare i dati, come il popolare capovolgimento orizzontale, le colture casuali e il jitter del colore. Inoltre,
  è possibile provare combinazioni di più elaborazioni diverse, ad es.
  Eseguendo contemporaneamente la rotazione e il ridimensionamento casuale. Inoltre,
  puoi provare ad aumentare la saturazione e il valore (componenti S e V dello
  spazio colore HSV) di tutti i pixel a una potenza compresa tra 0,25 e 4 (uguale
  per tutti i pixel all'interno di una patch), moltiplicare questi valori per un fattore
  tra 0,7 e 1.4 e aggiungere ad essi un valore compreso tra -0,1 e 0,1.
  Inoltre, è possibile aggiungere un valore tra [-0,1, 0,1] alla tonalità (
  componente H di HSV) di tutti i pixel nell'immagine / patch.

• Krizhevsky et al. 1 ho proposto una fantasia PCA durante l'allenamento del famoso Alex-Net nel 2012. Fancy PCA altera le intensità dei
  canali RGB nelle immagini di allenamento. In pratica, è possibile innanzitutto eseguire PCA sull'insieme di valori di pixel RGB in tutte le immagini di allenamento. E
  poi, per ogni immagine di formazione, è sufficiente aggiungere una quantità di
  ciascun pixel RGB dell'immagine (ovvero, I_ {xy} = [I_ {xy} ^ R, I_ {xy} ^ G, I_ {xy} ^ B] ^ T ):
  [bf {p} _1, bf {p} _2, bf {p} _3] [alpha_1 lambda_1, alpha_2 lambda_2, alpha_3
  lambda_3] ^ T dove, bf {p} _i e lambda_i sono i-th eigenvector ed
  eigenvalue della matrice di covarianza 3 volte 3 di valori di pixel RGB,
  rispettivamente, e alpha_i è una variabile casuale disegnata da un gaussiano
  con zero medio e deviazione standard 0,1. Si noti che ogni
  alpha_i viene disegnato una sola volta per tutti i pixel di una particolare
  immagine di allenamento fino a quando quell'immagine non viene utilizzata nuovamente per l'allenamento. Vale
  a dire, quando il modello incontra di nuovo la stessa immagine di allenamento, produrrà
  casualmente un altro alpha_i per l'aumento dei dati. In 1 , hanno
  affermato che "la fantasia PCA potrebbe approssimativamente catturare un'importante
  proprietà delle immagini naturali, vale a dire che l'identità dell'oggetto è invariante ai cambiamenti nell'intensità e nel colore dell'illuminazione". Per quanto riguarda le
  prestazioni di classificazione, questo schema ha ridotto il tasso di errore top-1
  di oltre l'1% nella concorrenza di ImageNet 2012.

(Fonte: suggerimenti / trucchi da conoscere nelle reti neurali profonde (di Xiu-Shen Wei))