Raster diff: come verificare se le immagini hanno valori identici?

Esiste un modo per verificare se uno qualsiasi dei 2 livelli raster ha un contenuto identico ?

Abbiamo un problema con il nostro volume di archiviazione condiviso aziendale: ora è così grande che ci vogliono più di 3 giorni per eseguire un backup completo. L'indagine preliminare rivela che uno dei maggiori colpevoli che consumano spazio sono i raster on / off che dovrebbero essere archiviati come layer a 1 bit con compressione CCITT.

Questa immagine di esempio è attualmente a 2 bit (quindi 3 possibili valori) e salvata come tiff compresso LZW, 11 MB nel file system. Dopo aver convertito in 1 bit (quindi 2 possibili valori) e aver applicato la compressione CCITT Group 4, lo portiamo a 1,3 MB, quasi un intero ordine di grandezza dei risparmi.

(Questo è in realtà un cittadino molto ben educato, ce ne sono altri memorizzati come float a 32 bit!)

Questa è una notizia fantastica! Tuttavia, ci sono quasi 7.000 immagini per applicare anche questo. Sarebbe semplice scrivere uno script per comprimerli:

for old_img in [list of images]:
    convert_to_1bit_and_compress(old_img)
    remove(old_img)
    replace_with_new(old_img, new_img)

... ma manca un test vitale: la versione appena compressa è identica al contenuto?

  if raster_diff(old_img, new_img) == "Identical":
      remove(old_img)
      rename(new_img, old_img)

Esiste uno strumento o un metodo che può automaticamente (dis) dimostrare che il contenuto di Image-A è identico al valore di Image-B?

Ho accesso ad ArcGIS 10.2 e QGIS, ma sono anche aperto a quasi tutto ciò che può ovviare alla necessità di ispezionare tutte queste immagini manualmente per garantire la correttezza prima di sovrascrivere. Sarebbe orribile convertire e sovrascrivere erroneamente un'immagine che in realtà conteneva più di valori on / off. La maggior parte costa migliaia di dollari da raccogliere e generare.

aggiornamento: i più grandi delinquenti sono float a 32 bit che vanno fino a 100.000 px su un lato, quindi ~ 30 GB non compressi.

Prova a convertire i tuoi raster in array intorpiditi e poi controlla per vedere se hanno la stessa forma ed elementi con array_equal . Se sono uguali, il risultato dovrebbe essere True:

ArcGIS:

import arcpy, numpy

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

r1 = arcpy.RasterToNumPyArray(raster1)
r2 = arcpy.RasterToNumPyArray(raster2)

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

GDAL:

import numpy
from osgeo import gdal        

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

ds1 = gdal.Open(raster1)
ds2 = gdal.Open(raster2)

r1 = numpy.array(ds1.ReadAsArray())
r2 = numpy.array(ds2.ReadAsArray())

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

Puoi provare con lo script gdalcompare.py http://www.gdal.org/gdalcompare.html . Il codice sorgente dello script è su http://trac.osgeo.org/gdal/browser/trunk/gdal/swig/python/scripts/gdalcompare.py e poiché si tratta di uno script Python dovrebbe essere facile rimuovere l'inutile test e aggiungine di nuovi per soddisfare le tue attuali esigenze. Lo script sembra fare un confronto pixel per pixel leggendo i dati immagine dalle due immagini banda per banda e questo è probabilmente un metodo abbastanza veloce e riutilizzabile.

Suggerirei di creare la tabella degli attributi raster per ogni immagine, quindi puoi confrontare le tabelle. Questo non è un controllo completo (come calcolare la differenza tra i due), ma la probabilità che le tue immagini siano diverse con gli stessi valori dell'istogramma è molto piccola. Inoltre ti dà il numero di valori univoci senza NoData (dal numero di righe nella tabella). Se il conteggio totale è inferiore alla dimensione dell'immagine, sai di avere pixel NoData.

La soluzione più semplice che ho trovato è calcolare alcune statistiche riassuntive sui raster e confrontarle. Di solito uso la deviazione standard e la media, che sono robuste per la maggior parte delle modifiche, sebbene sia possibile ingannarle manipolando intenzionalmente i dati.

mean_obj = arcpy.GetRasterProperties(input_raster, 'MEAN')
mean = float(mean_obj.getOutput(0))
if round(mean, 4) != 0.2010:
    print("raster differs from expected mean.")

std_obj = arcpy.GetRasterProperties(input_raster, 'STD')
std = float(std_obj.getOutput(0))
if round(std, 4) != 0.0161:
    print("raster differs from expected standard deviation.")

Il modo più semplice è sottrarre un raster dall'altro, se il risultato è 0, entrambe le immagini sono uguali. Inoltre puoi vedere l'istogramma o tracciare per colore il risultato.