Perché le foto vengono danneggiate sui dischi rigidi del PC?

13

Non sono un fotografo professionista ma apprezzo molto le mie foto. A volte quando li guardo mesi o anni dopo averli presi, alcuni di loro si presentano corrotti senza una ragione evidente. Ricevo spesso cose come aree grigie, colori alterati a partire da un certo punto o persino foto completamente non visualizzabili. Uso sia il sistema operativo Windows che Linux sul mio PC.

Perché ciò accade e, soprattutto, come evitarlo ?

data-corruption

— Petru Dimitriu
fonte

Queste sono vecchie foto? vale a dire, foto che abituati a guardare bene, e che non hai sposta in giro sul disco dopo? O sono foto che hai scaricato di recente sul tuo disco, solo per scoprire che ora sono danneggiate?

— user541686

4

Sto votando per chiudere questa domanda come fuori tema perché riguarda la gestione IT generale e guasti hardware / software. I principi che si applicano ai file fotografici si applicano anche a qualsiasi altro documento, video o applicazione.

— James Snell,

3

Ho già risposto qui .

— JDługosz,

Come evitare: utilizzare ZFS su un file server in cui conservo le mie foto.

— JDługosz,

17

Ci sono due cause principali. Il primo è il degrado dei dati . I bit memorizzati su supporti magnetici (come il disco rigido) possono perdere il loro orientamento magnetico nel tempo, corrompendo il bit. In condizioni più difficili (calore e umidità elevati) il supporto fisico stesso può iniziare a degradare. Per i media a stato solido come un SSD, il meccanismo è diverso ma il risultato è simile.

L'occorrenza più comune è la corruzione silenziosa dei dati , per cui si verifica un errore durante la scrittura o la lettura dei dati. Sebbene l'immagine al link precedente sia un esempio estremo, spesso un singolo bit capovolto può corrompere un'immagine.

Esistono due soluzioni a questi problemi e, supponendo che tu ruoti i tuoi backup, i backup da soli non ti aiuteranno. L'approccio più complicato e tecnico consiste nell'utilizzare un filesystem con meccanismi integrati di integrità dei dati (come ZFS o btrfs), mentre un approccio più semplice sarebbe calcolare un hash per ogni file tra i backup per rilevare eventuali modifiche.

— alldayremix
fonte

ZFS o Btrfs su sistemi * nix o ReFS su Windows.

— un CVn

7

Non un fotografo, ma un fanatico dell'integrità dei dati. Ho dovuto unirmi a questa community solo per votare questa risposta. Mentre sto già scrivendo un commento, potrei toccare un po 'di più su "un singolo bit capovolto può corrompere un'immagine" . Questo perché JPEG e altri formati in base alla progettazione rimuovono quanta più ridondanza possibile, questo è il loro punto. Se riesci a capovolgere un po 'e riconoscere ancora l'immagine, quel bit non valeva la pena memorizzarlo (approssimativamente). Pertanto, i formati non compressi possono essere più resistenti e si degradano in modo più elegante. Probabilmente non vale la penalità aggiuntiva del 1000% in termini di dimensioni.

— pipe

1

@pipe Probably not worth the extra 1000% penalty in size...Direi esattamente il contrario: scatta RAW, archivia RAW, backup RAW. Mantieni gli aspetti negativi, non le stampe.

— J ...

1

@J ... Fai solo attenzione che il tuo formato RAW non sia compresso con un algoritmo lossless, quindi hai ancora un problema simile. L'opzione migliore è seguire la raccomandazione nella risposta che stiamo commentando. Mantenere i file RAW ha, ovviamente, altri vantaggi. :)

— pipe

1

Vai avanti e comprimi e usa par2 per aggiungere ridondanza utile .

— JDługosz,

17

Io non ho intenzione di preoccuparsi troppo di come questo accade, perché i dischi rigidi saranno fallire; proprio come qualsiasi altra cosa in questo mondo, non sono perfetti. Non puoi arrivare a uno stato in cui non perderai mai un file.

Tuttavia, puoi arrivare a uno stato in cui non perdi mai una foto - lo fai avendo più copie su dischi rigidi separati, incluso almeno uno in una posizione fisica separata. Quindi non importa se un disco si guasta, perché puoi semplicemente ottenere la foto da un'altra posizione.

— Philip Kendall
fonte

Mi chiedo se esiste un programma in grado di verificare automaticamente l'integrità dei file di immagine. Forse no - suppongo che un JPEG corrotto possa essere comunque un JPEG valido.

— osullic

5

Come commentato dalla risposta altrove, non preoccuparti di provare a capire se sono corrotti o no, preoccupati solo di ciò che sono cambiati.

— Philip Kendall,

Se le foto vengono corrotte in un po 'di file e diventano inutilizzabili, perché ciò non accade con i file normali? Suppongo che se ciò accadesse come accade con le foto, i sistemi operativi probabilmente fallirebbero casualmente, tutti i tipi di documenti diventerebbero casualmente illeggibili ... ma non l'ho ancora visto.

— Petru Dimitriu,

@PetruDimitriu Le immagini e i video occupano molto spazio, se viene capovolto un singolo bit e il 90% del disco rigido contiene immagini, quel bit ha il 90% di probabilità di trovarsi in un'immagine e non in nessun altro file. Se sei sfortunato, e quel bit si trova in una parte importante di un file di sistema importante (non un file Leggimi), il tuo computer probabilmente si bloccherà a un certo punto e non capirai perché.

— Jens,

2

La risposta al perché ciò accade dipende dal tipo di unità, dal tipo di file, dal filesystem e dal sistema operativo utilizzati, quindi è impossibile dare una risposta completa a questa domanda.

Ma riguardo a come evitarlo, l'altra risposta tocca avere dei backup - tuttavia, con la corruzione dei file come questa, è necessario un modo per identificare quando una determinata copia del file è stata corrotta ed evitare di copiarla nei backup. È molto facile finire con 2 copie corrotte di un file. La risposta tecnica è utilizzare i checksum e confrontarli per identificare i file danneggiati.

Il modo migliore per evitarlo in questi giorni è utilizzare un servizio di archiviazione online che gestirà tutta la ridondanza e l'integrità dei file per te.

— Harry Harrison
fonte

"usa un servizio di archiviazione online che gestirà tutta la ridondanza e l'integrità dei file per te." ... e il loro client rileva automaticamente la modifica alla copia locale della foto e carica la nuova versione, che è danneggiata . Il cloud storage non sostituisce le buone politiche di backup e un modo per rilevare effettivamente la corruzione. Confronta Cosa è necessario per un sistema di backup completo? .

— un CVn

@ MichaelKjörling utilizzando l'archiviazione online come copia secondaria dei dati avrà questo effetto, ma l'archiviazione della copia master in un archivio non corruttibile. In generale, sincronizzare sempre da una memoria più affidabile a una memoria meno affidabile.

— Harry Harrison,

1

@ MichaelKjörling

their client automatically detects the change to the local copy of the photo and uploads the new version, which is corrupted.

In realtà, questo è un punto interessante, perché a meno che la corruzione non sia in un livello software il client non sarà in grado di rilevare la corruzione se non si riscrive il file.

— Michael,

2

@HarryHarrison Non sono d'accordo. Non voglio sincronizzare automaticamente dal mio NAS (ad esempio) con il mio disco rigido locale solo perché il mio NAS è più affidabile - c'è ancora una possibilità che sia il NAS ad essere rovinato, non il mio disco rigido locale (o in realtà molto più probabile, Ho grasso qualcosa e ho incasinato il file sul NAS da solo). Qui è necessario l'intervento manuale: non dovrebbe essere così comune, a meno che tu non sia Associated Press.

— Philip Kendall,

1

Nessuno ha un archivio incorruttibile. Anche S3 è "solo" 12 nove.

— Philip Kendall,

1

I file di foto non sono speciali a questo proposito, qualsiasi file su un computer può essere danneggiato. I JPEG probabilmente hanno più probabilità di mostrare la corruzione in modo ovvio rispetto a molti altri tipi di file, quindi potresti notarlo di più (vedi il commento di @ pipe sulla risposta di @ alldayremix).

I file possono essere danneggiati in molti modi, i dischi rigidi (non SSD) possono essere troppo vicini a un magnete, i CD e i DVD possono gradualmente marcire e interferenze elettriche e bug nel firmware o nel software possono corrompere i file in transito. Ci sono anche altri motivi, ma suggerirei di chiedere su uno stack più legato al computer se vuoi approfondire.

In termini di cosa si può fare al riguardo, la migliore risposta che posso trovare è il calcolo degli hash e la conservazione di più copie delle foto. A tal fine ho scritto un programma gratuito e open source per affrontare questo problema da solo: Archiverify .

Funziona calcolando gli hash, archiviando gli hash accanto alle immagini e confrontando i file con gli hash durante l'esecuzione. Finché si dispone di più di una copia del file, è possibile aggiornare automaticamente la copia danneggiata da quella valida (supponendo che entrambi non vengano danneggiati contemporaneamente).

In alternativa, sono sicuro che ci sono servizi di archiviazione / backup a pagamento disponibili che eseguiranno l'hash e controlleranno periodicamente dietro le quinte.

— Dan
fonte

1

In teoria, questo tipo di risposta va bene, ma probabilmente vale la pena leggere Come non essere uno spammer (ignora il titolo leggermente infiammatorio, non credo che le singole comunità SE abbiano alcun controllo su questo). Tuttavia ... questo post in realtà non risponde alla domanda ("Perché le foto vengono danneggiate?"), Quindi potrebbe essere potenzialmente eliminato per questo motivo.

— Philip Kendall,

Grazie, è vero, non risponde alla domanda principale, proverò ad affrontarlo. Tuttavia risponde alla domanda sussidiaria "più importante".

— Dan,

@scottbb La risposta è stata modificata in modo significativo da quando ho pubblicato quel commento. Si prega di consultare la cronologia delle modifiche.

— Philip Kendall,

@PhilipKendall mi scuso, non ho notato la storia.

— Scott

0

Esistono diversi motivi come indicato sopra. Può essere solo un'usura naturale nel tempo che corrompe frammenti di file o degrado fisico. Se trovi continuamente foto e altri file gravemente danneggiati, può essere un segno di un virus informatico. Se non vuoi che i tuoi file vengano danneggiati nei primi due modi, investi in un SSD in quanto non si degraderà più velocemente e 10 volte più velocemente. (Potresti anche voler fare anche una scansione antivirus veloce.)

— anonimo
fonte

0

Perché ciò accade e, soprattutto, come evitarlo?

È necessario porre questa domanda su Security.SE.

Per evitare la corruzione, è necessario eseguire backup .

Nella tecnologia dell'informazione, un backup o il processo di backup, si riferisce alla copia e all'archiviazione dei dati del computer in modo che possano essere utilizzati per ripristinare l'originale dopo un evento di perdita di dati. La forma del verbo è il backup in due parole, mentre il nome è backup.

Supporti ottici digitali scrivibili come CD-R e DVD-R potrebbero essere danneggiati anche dalla luce solare. Per evitare ciò, è possibile utilizzare una strategia di backup doppio. Tuttavia, al giorno d'oggi, abbiamo metodi online così belli per il backup di foto, come Instagram o altri servizi online. Ad esempio, dietro Google Drive ci sono molti data center. Ognuna delle tue foto verrà archiviata nel file system di Google (GoogleFS o GFS) su server ospitati in questi data center. Questo filesystem è stato progettato da Google per proteggere gli utenti dalla perdita di dati. Le tue foto verranno salvate in tre esemplari in tre diverse posizioni geografiche, per proteggere dalla perdita di dati a causa di catastrofi locali causate da fulmini, tsunami, terremoti, ecc.

Prova a utilizzare più servizi online contemporaneamente (come megaupload, dropbox, wuala, 4shared, ecc.).

Successivamente, per la massima tranquillità che nessuna delle tue foto è stata modificata o corrotta, dovrai utilizzare i checksum per verificare l'integrità dei tuoi dati.

Un checksum è un dato di dimensioni ridotte proveniente da un blocco di dati digitali allo scopo di rilevare errori che potrebbero essere stati introdotti durante la sua trasmissione o memorizzazione.

Il modo migliore è usare la crittografia per tale compito. Utilizzare le ultime funzioni hash stabili, come SHA-256 o SHA-512. Gli algoritmi più vecchi, come MD5, sono ora considerati insicuri. Un moderno aggressore potrebbe falsificare i tuoi dati con lo stesso md5sum.

Quando hai finito, avrai un sistema di backup distribuito che non sarà facilmente distrutto, anche dagli attaccanti più sofisticati e dedicati (come gli attacchi sostenuti dallo stato nazionale).

Due copie DVD con dati identici all'interno:

   1. Photo1.jpg
   2. Photo2.jpg
   3. Photo3.jpg
 ...
 999. Photo999.jpg
1000. SHA256SUM

Se questo SHA256SUM deve contenere qualcosa del tipo:

e5347dce99eb8cf694cf708d4a17d83abb3ec378241b5878c0abdab045859b24  Photo1.jpg
b497a12b608def869a0429d7e6bbbd112bd413256201647a5aff6773de3b7bd9  Photo2.jpg
b15b0d99bf8135286f444fc62bcf70278a89e60650252ab2bd3b6fffd40c4255  Photo3.jpg
...
209732fbdb499f0cad6fd3311b45185667bbb40e501106997d3ac2c49cb30a7e  Photo999.jpg

Le linee 209732fbdb499f0cad6fd3...sono hash unici delle tue foto. Quando una parte della tua foto diventa corrotta, questo hash verrà cambiato in un altro, quindi potresti testare gli hash contro questo elenco per essere sicuro che le tue foto mantengano l'integrità.

In secondo luogo, tutte queste foto e questo file di hash SHA256SUM vengono caricati, ad esempio, su dropbox e da qualche altra parte.

Ora hai 5 copie delle tue foto. 2 offline, 2 online, 1 sul disco rigido corrente.

Lo schema potrebbe essere evoluto in qualcosa di più robusto, ovviamente. La tua immaginazione è la tua carta vincente.

— backupemall
fonte

-1

Non posso escludere che gli standard jpeg tra la tua vecchia fotocamera e il tuo ultimo visualizzatore di immagini siano leggermente divergenti, quindi le foto sembrano solo corrotte. A volte il software è conforme solo a una versione preliminare di uno standard. Prova un vecchio visualizzatore (su un vecchio computer).

— Jeroen van Duyn
fonte

1

Posso escluderlo. L'ultimo aggiornamento agli standard JPEG è stato nel 2012. E in realtà gli aggiornamenti fondamentali risalgono agli anni '90. Non ha davvero senso uno stato in cui "le foto sembrano solo corrotte". (Voglio dire, sembra tutto ragionevole, ma non corrisponde alla cronologia attuale.)

— Leggi il profilo