Reti neurali: trova la maggior parte delle immagini simili

Sto lavorando con Python, scikit-learn e keras. Ho 3000 mila immagini di orologi frontali come i seguenti: Watch_1 , Watch_2 , Watch_3 .

Voglio scrivere un programma che riceva come input una foto di un vero orologio che potrebbe essere scattata in condizioni meno ideali rispetto alle foto sopra (colore di sfondo diverso, fulmini più scuri ecc.) E trovare gli orologi più simili tra i 3000 ad esso. Per somiglianza intendo che se do come input una foto di un orologio marrone rotondo con pizzo sottile, allora mi aspetto come output orologi di forma rotonda, di colore scuro e con pizzo sottile.

Qual è l'algoritmo di machine learning più efficiente per farlo?

Ad esempio, seguendo questo link ho in mente due diverse soluzioni:

1) Usare una CNN come estrattore di caratteristiche e confrontare le distanze tra queste caratteristiche per ogni coppia di immagini con riferimento all'immagine di input.

2) Utilizzo di due CNN in una rete neurale siamese per confrontare le immagini.

Queste due opzioni sono le migliori per questa attività o suggeriresti qualcos'altro?

Conosci qualche rete neurale pre-allenata (con iperparametri predeterminati) per questo compito?

Ho trovato alcuni post interessanti su StackOverflow a riguardo, ma sono piuttosto vecchi: Post_1 , Post_2 , Post_3 .

Non penso che un'architettura di alto livello come tale sia la soluzione migliore, ma dipende piuttosto da molti fattori e dettagli. Da quello che sono a conoscenza del primo approccio è promettente soprattutto se esteso con passaggi aggiuntivi come fatto in TiefVision :

1. Un'ulteriore rete di delimitazione viene utilizzata per discriminare la parte rilevante dell'immagine dal resto
2. I vettori di funzionalità non vengono semplicemente confrontati direttamente, ma piuttosto utilizzati per formare una rete di confronto utilizzando terzine (apprendimento della somiglianza basata su vettori di funzionalità ed esempi per casi più e meno simili).

Questo lavoro è molto più recente (2016/17) di quello che hai postato e viene fornito con un bel set di strumenti e di una più dettagliata di carta .

Perché usare le terzine aka Deep Ranking?

Come affermato nei commenti: Perché si dovrebbero usare le terzine per la somiglianza delle immagini invece di apprendere i vettori delle caratteristiche e calcolare la loro distanza? Le terzine sono un modo per formulare la domanda di somiglianza come un problema di apprendimento invece di vettori di funzioni di apprendimento che sostanzialmente non si preoccupano della somiglianza. Questo approccio ha senso soprattutto nei casi in cui è importante la somiglianza percepita dall'uomo, che potrebbe differire dalla percezione della macchina.

Le terzine funzionano così: fornisci 3 immagini. Una da confrontare, un'immagine simile (vicina) e un'immagine non così simile (distante). Questi sono i dati di allenamento / test / convalida. La formazione della rete su tali campioni e la previsione dell'ordine corretto (classificare immagini simili da immagini non simili) in generale consente alla rete di imparare come ordinare le immagini in base alla loro somiglianza.

Tutto sommato questo approccio è relativamente complesso. Potrebbe essere troppo ingegnerizzato ma hai anche chiesto il modo migliore per farlo e Deep Ranking raggiunge valori di precisione molto elevati.

Sceglierei un classificatore, come VGG-16, che funziona bene con le classi imagenet. Quindi, esegui le immagini dell'orologio attraverso di esso. Di sicuro, ci si può aspettare che l'output sia principalmente "watch" con alta probabilità.

Tuttavia, otterrai quindi funzionalità extra: il livello di attivazione di tutte le altre categorie. Questo ti dà un vettore di mille valori tra 0 e 1.

È inoltre possibile estrarre l'attivazione in vari punti della rete. Quindi, la somiglianza di tali attivazioni e uscite dovrebbe essere simile tra due casi solo se le immagini sono simili.

Mi concentrerei innanzitutto sull'aumento dei dati. Dato che le tue immagini hanno uno sfondo bianco, le hai un po 'più facili. Trasforma lo sfondo bianco in uno sfondo trasparente, ridimensiona l'immagine, ruotala e mettila in uno sfondo simile ai tuoi dati di destinazione.

Fallo un sacco di volte con combinazioni diverse e hai un'etichetta per ogni orologio. Quindi suggerirei di utilizzare una normale rete neurale convoluzionale per la classificazione. Ogni etichetta avrà un punteggio, scegli quello con la massima sicurezza e quello dovrebbe essere il più simile .

Ad esempio, supponiamo che tu esegua il classificatore con un'immagine e ottenga questo risultato:

Watch1: 0.51

Watch2: 0.30

Watch3: 0.25

La CNN afferma di avere una sicurezza del 51% sul fatto che Watch1 sia l'orologio nell'immagine di input. Ma anche ciò che è vero è che è quello che ritiene più simile, Watch2 sarebbe il prossimo più simile e così via.

Se non ottieni buoni risultati, fai il solito. Sperimenta con i parametri e / o aggiungi più livelli. Prova a scoprire dove sta fallendo. Dopo aver acquisito queste informazioni, puoi utilizzarlo per scegliere un tipo più specializzato di rete convoluzionale per il tuo problema specifico. Cercare questo senza una conoscenza preliminare di come si comporterebbe non è l'approccio giusto. Vorrei suggerire di iniziare con un modello convoluzionale di base e poi lavorare da lì.