Quale filtro di immagine può essere applicato per rimuovere il pattern grigliato dai jpeg corrotti?

Ho circa 1.400 jpeg che sono stati corrotti in qualche modo e hanno perso le immagini di backup. Sembrano tutti avere lo stesso modello di linee grigliate su ciascuna (cioè la griglia non si sposta da un'immagine all'altra.

Ecco come appare una di queste immagini:

Esistono tecniche di filtraggio delle immagini in particolare in Matlab o in altro modo che rimuoveranno o smusseranno questo schema di griglia?

È possibile utilizzare un algoritmo di pittura standard. Questi algoritmi sostituiscono i pixel contrassegnati in un'immagine con i valori dei pixel che circondano questi pixel contrassegnati. La sfida qui è quella di rilevare la griglia (i miei test sembrano dimostrare che non è una griglia completamente regolare). Quindi, ho trovato questa soluzione:

from PIL import Image
import requests
from io import BytesIO
import cv2

url = "http://i.stack.imgur.com/Ahrnl.jpg"
response = requests.get(url)
img = Image.open(BytesIO(response.content))

plt.imshow(img)
A = np.array(img)
A2 = A.copy()
A_gray = cv2.cvtColor(A, cv2.COLOR_RGB2GRAY)


# Do some rough edge detection to find the grid
sX = cv2.Sobel(A_gray, cv2.CV_64F, 1, 0, ksize=3)
sY = cv2.Sobel(A_gray, cv2.CV_64F, 0, 1, ksize=3)
sX[sX<0] = 0
sY[sY<0] = 0

plt.subplot(221)
plt.imshow(sX)

plt.subplot(222)
plt.imshow(sY)

plt.subplot(223)
# the sum operation projects the edges to the X or Y-axis. 
# The 0.2 damps the high peaks a little
eX = (sX**.2).sum(axis=0)  
eX = np.roll(eX, -1) # correct for the 1-pixel offset due to Sobel filtering
plt.plot(eX)

plt.subplot(224)
eY = (sY**.2).sum(axis=1)
eY = np.roll(eY, -1)
plt.plot(eY)

mask = np.zeros(A2.shape[:2], dtype=np.uint8)
mask[eY>480,:] = 1
mask[:, eX>390] = 1


A2[mask.astype(bool),:] = 255
plt.figure()
plt.subplot(221)
plt.imshow(A)

plt.subplot(222)
plt.imshow((A2))

restored = cv2.inpaint(A, mask, 1, cv2.INPAINT_NS)
plt.subplot(223)
plt.imshow(restored)

L'output del programma è il seguente:

Per rilevare la griglia ho fatto una soluzione rapida e sporca. Può essere migliorato molto, ma mostra l'idea iniziale. Il flusso generale è:

1. rilevare la griglia
2. creare una maschera che descriva quali pixel sono danneggiati dalla griglia
3. dipingere i pixel corrotti.

Per la pittura ho usato l' operazione di pittura di OpenCV . Per rilevare la griglia, ho eseguito il rilevamento dei bordi in direzione X e Y utilizzando un filtro Sobel. Quindi aggiungo tutti i valori dei bordi nella direzione X e Y per trovare i picchi, dove si trovano le linee della griglia. Quindi, scelgo i picchi più alti come coordinate in cui sono stimate le linee della griglia. Non funziona perfettamente (ad es. I bordi forti nell'immagine vengono rilevati erroneamente come linee della griglia), ma mostra l'idea. Può essere migliorato, ad esempio, dalla trasformazione di Hough per trovare linee, eliminare bordi molto forti ecc.

In alternativa, se la griglia è davvero la stessa per tutte le immagini, è possibile eseguire il rilevamento della griglia congiuntamente per tutte le immagini, il che produrrebbe una precisione molto migliore (basta fare la tecnica sopra, ma prima di scegliere i picchi, riassumere i risultati da tutte le foto). Più in dettaglio, calcoleresti eX per tutte le immagini e sommeresti tutti questi eX in un unico vettore. Questo vettore avrà una struttura di picco molto più chiara e la soglia può essere eseguita più facilmente.

Ho provato un algoritmo davvero semplice di eseguire un filtro mediano 3x3 sui canali R e G di quell'immagine e funziona abbastanza bene. Il codice Python è davvero semplice:

import scipy.signal as sp
from scipy import ndimage

image = ndimage.imread('Ahrnl.jpg', flatten=False)
image_filtered = np.array(image)
for i in range(2) :
  image_filtered[:,:,i] = sp.medfilt2d(image[:,:,i])

In alternativa puoi utilizzare il filtro del dominio delle frequenze come discusso in questa domanda: /programming/34027840/removing-periodic-noise-from-an-image-using-the-fourier-transform

La trasformata di Fourier della tua immagine mostra chiaramente alcuni "punti" ripetuti nello spettro corrispondente a questo rumore periodico.

Come ha sottolineato Maximilian, quest'ultimo metodo funziona bene solo se il rumore è perfettamente periodico, il che non sembra essere il caso qui.

Ho provato a eseguire un filtro davvero stupido che azzera 5x5 quadrati di bin di frequenza centrati attorno a multipli di 9 in entrambe le direzioni xey e che (in qualche modo) sopprime il rumore ma introduce artefatti in posizioni che non contengono rumore (ad es. cielo).

Si può forse fare di meglio con un'attenta progettazione del filtro a intaglio invece di azzerare direttamente i contenitori FFT ( non farlo mai in pratica! ) E applicare il filtro solo nelle regioni dell'immagine in cui è presente il rumore (cioè non filtrare il cielo).