Perché le telecamere non supportano i filesystem con journal?

come NTFS, HFS + o ext4, per schede SD? Dopotutto, il journaling riduce la possibilità di perdita di dati, il che sarebbe importante per i fotografi. Ho perso una scheda SD contenente forse un migliaio di foto quando a Bali - un posto che non ho avuto la possibilità di visitare prima o dopo.

Ci sono delle precauzioni che posso prendere prima di un viaggio la prossima volta? Formattare le carte a porte chiuse?

Sono corretto nel comprendere che SDXC (exFAT) e Sony Memory Stick non offrono più affidabilità delle schede SD?

Facciamo una piccola analisi costi-benefici:

1. Un file system con journaling è più complicato: ciò significa tempi di sviluppo più lunghi, più bug, maggiore consumo della batteria, costi di produzione più elevati ecc.

2. il problema risolto da un filesystem journaled - dati FS corrotti ma dati di file intatti - è gestito abbastanza bene da strumenti di recupero dati di terze parti.

3. il file system journaled non risolve tutti i problemi, è davvero necessario un buon backup - e non solo i sistemi con backup integrati (slot per doppia scheda) sono una funzionalità che viene utilizzata per fare in modo che i professionisti ottengano telecamere più costose.

4. non c'è una grande crisi di affidabilità della scheda di memoria, quelle carte sono abbastanza affidabili e il fallimento è relativamente raro.

5. e, infine, non esiste un file system con journaling che è supportato immediatamente su Windows e Mac.

Quindi, se tu fossi il responsabile del prodotto responsabile approveresti un progetto che 1. risolve un problema già risolto (con strumenti di terze parti) in modo incompleto, 2. non è abbastanza importante per essere un punto di vendita e 3. farà una parte significativa del mercato non è in grado di utilizzare la fotocamera (almeno senza installare software aggiuntivo di cui non avranno bisogno con i marchi concorrenti)?

I file system con journaling garantiscono solo l'integrità del file system. Se una carta fallisce davvero, fallisce con l'intero file system. Ora, se hai alcune celle di memoria difettose, useresti solo qualsiasi foto occupasse quello spazio e un file system journaled non sarebbe di aiuto. In altre parole, questa è la soluzione sbagliata all'incidente che descrivi.

La vera soluzione è la ridondanza, motivo per cui troverai offerte di fascia alta di Nikon, Pentax e Canon che offrono doppi slot per schede di memoria e la possibilità di scrivere immagini su entrambe le schede contemporaneamente. Questo ti dà un backup istantaneo. Se quelle telecamere non ti sono convenienti, devi trovare un altro modo per eseguire backup frequenti. Alcune persone lo fanno quotidianamente su un laptop, un'unità portatile, un disco ottico.

Anche se non l'ho ancora provato e non sono sicuro di quanto sia pratico, puoi anche utilizzare un dispositivo o una scheda WiFi (SD / SDHC solo AFAIK) che invia automaticamente le tue immagini mentre vengono acquisite su un altro dispositivo di rete, forse un tablet o qualcosa con una buona conservazione.

Mentre SDXC viene formattato come exFAT per impostazione predefinita, puoi formattarlo anche su FAT32. Molte fotocamere lo accetteranno in entrambi i modi. Tuttavia, la differenza di affidabilità è probabilmente zero.

Per quanto ne so, tutte le fotocamere digitali prodotte per essere vendute sul mercato al dettaglio incorporano la regola di progettazione per Camera File System (DCF) . Parte dello standard DCF è che il file system FAT deve essere utilizzato da dispositivi conformi. Questo standard è stato adottato come standard di fatto per la memorizzazione di file audio e di immagini digitali in dispositivi di memoria dall'industria delle fotocamere digitali per assicurare l'interoperabilità da un marchio all'altro.

Consulta /photo//a/46387/15871 per ulteriori informazioni su DCF.

Si tratta di risolvere "c'è un mercato?" e "quali sono gli ostacoli all'adozione?". Ognuno di questi presenta un enorme ostacolo all'adozione anche se ne valesse la pena.

NTFS comporterebbe costi per le licenze anche se esiste anche una libreria adatta per i processori della fotocamera (che non è garantita) e il supporto al di fuori di Windows sarebbe irregolare. Mentre HFS + ed ext4 non hanno supporto nativo in Windows, eliminando gran parte della potenziale base di clienti. Quindi non c'è mercato per quelli.

Come dici tu, exFAT è richiesto dallo standard SCXD , quindi vedrai che come appare il supporto per schede più grandi e più veloci, ma non è così semplice poiché più codice va anche più male, e con sistemi integrati come le fotocamere, davvero non voglio distribuire gli aggiornamenti del firmware, quindi aspettatevi che mentre le scritture su una scheda exFAT siano leggibili e nel giusto formato, potrebbe non utilizzare effettivamente nessuna delle funzionalità exFAT che potrebbero offrire alcuna protezione. Quindi ci sono anche barriere significative all'adozione.

La modalità di errore della maggior parte delle schede ha la probabilità di essere il controller come una cella di memoria, è un sacco di lavoro (costo per la produzione) con scarso vantaggio.

Sony MS (MemoryStick) è ancora memoria flash SLC o MLC, è solo il controller e la connessione fisica che differisce tra i sistemi. La tua migliore protezione nella situazione che hai riscontrato è quella di portare con te un piccolo dispositivo portatile di backup, sono tascabili e relativamente economici (e probabilmente incompatibili anche con i filesystem Journaled.)

Una ragione ovvia: perché un filesystem di journaling su una fotocamera molto probabilmente non ti avrebbe aiutato (o nessuno).

Come panoramica di altissimo livello, ecco cosa fa un filesystem di journaling: prima di scrivere su tutti i metadati (o dati, se anche su journaling di dati), scrivi prima cosa cambierai nel journal. Solo una volta che sei sicuro che è sul disco, vai avanti e scrivi la modifica. Fondamentalmente, ciò significa che se l'alimentazione viene interrotta durante la scrittura, è possibile ripristinare il filesystem utilizzando il journal: si procede e si esegue qualsiasi azione nel journal.

Questo è prezioso su un PC desktop, in cui l'alimentazione potrebbe interrompersi o l'utente potrebbe premere il pulsante di ripristino o staccare la spina, ecc. Anche prezioso, ma meno, su server (mancanza di corrente) e laptop (pulsante di ripristino) .

Una fotocamera è alimentata a batteria. Ha un interruttore di spegnimento, ma questo normalmente dice al firmware di spegnerlo, non è una disconnessione dell'alimentazione fisica. Di solito non c'è un pulsante di reset, o se c'è, non è praticamente mai usato. Quindi, non è necessario il journaling, il firmware può semplicemente finire la scrittura. L'unica eccezione sarebbe se hai rimosso fisicamente la batteria. Forse sarebbe successo con un alimentatore esterno, ma a parte questo, una fotocamera non dovrebbe mai subire uno spegnimento impuro.

Inoltre, quasi nessun dispositivo flash gestisce bene l'interruzione improvvisa dell'alimentazione. Inseriscili nel mezzo di una delocalizzazione del settore (livellamento dell'usura) e tutte le scommesse sono disattivate. Quindi, anche se avessi un filesystem journaling, non saresti ancora al sicuro da mancanza di corrente.

Un filesystem journaling non ti protegge da:

• Bug nel controller flash sulla scheda SD, ecc.
• Bug nell'hardware dell'host SD della videocamera
• Bug nel codice del filesystem sulla fotocamera
• Bug nei driver SD del firmware
• Perdita di settori sui media
• Malfunzionamento dell'hardware (ad es. A causa di raggi cosmici, scariche statiche, rumore elettromagnetico, acqua, ...)

In effetti, un filesystem journaling è più complicato , quindi è più probabile che tu abbia dei bug filesystem. Amplifica le scritture, quindi è più probabile che colpisca il controller flash o i bug dell'host SD. E consumerai il flash leggermente prima.

I file system con journaling sono dannosi per le schede SD (o qualsiasi dispositivo NAND Flash).

Le operazioni di scrittura sono costose per i dispositivi NAND Flash e i file system registrati su giornale tendono a scrivere più dei file system non registrati su giornale per le stesse attività.

Quindi la scheda SD funzionerà più lentamente e durerà meno con un file system Journaled.

Lo storage basato su FLASH, al suo interno, utilizza una tecnologia chiamata NAND FLASH. NAND FLASH è leggibile e scrivibile, ma con diverse rughe.

1. L'unità fondamentale di lettura / scrittura è una "pagina", non un settore. I dispositivi FLASH della generazione 2007-2008 hanno dimensioni di pagina 2K, la migrazione a dimensioni di pagina 4K nella generazione 2009 e dimensioni di pagina 16K sono state osservate nelle generazioni 2011.

2. Non puoi scrivere una pagina ogni volta che vuoi - prima di scriverla, devi prima cancellarla. Ma non è possibile cancellare una singola pagina alla volta: è necessario cancellare un intero "blocco di cancellazione" di (in genere) 64 pagine consecutive (128 KB o 256 KB a seconda della generazione). E dopo aver cancellato il blocco, non è possibile scrivere sulle pagine in un ordine arbitrario, è necessario scriverle in sequenza a partire dalla prima.

3. I blocchi tendono ad usurarsi nel tempo. Dopo un certo numero di cicli di cancellazione, un blocco "andrà male" in modo permanente, in modo da non conservare più i dati in modo affidabile. Le pagine possono anche sviluppare errori di dati come risultato dell'attività di scrittura su altre pagine e persino come risultato delle letture!

http://wiki.laptop.org/go/How_to_Damage_a_FLASH_Storage_Device

Modifica: vale la pena ricordare che i file system journaled non porteranno un vantaggio significativo rispetto ai file system non journaled.

• I filesystem journaling garantiscono la corruzione dopo un'interruzione di corrente?

File system diversi richiedono quantità diverse di RAM in un sistema che li sta utilizzando. Un sistema che ha bisogno di scrivere un file su un file system FAT potrebbe teoricamente cavarsela con un singolo buffer da 512 byte, sebbene le prestazioni sarebbero piuttosto terribili. L'espansione a due o tre buffer da 512 byte migliorerebbe enormemente le cose. Andare oltre ciò migliorerebbe un po 'di più le cose e ottenere prestazioni ottimali da una scheda più grande richiederebbe più memoria rispetto a ottenere prestazioni ottimali da una scheda più piccola, ma una fotocamera che includeva solo buffer sufficienti per raggiungere l'efficienza ottimale con schede più piccole sarebbe comunque in grado di lavorare con quelli più grandi, anche se in modo meno efficiente.

Un problema più complicato riguarda il fatto che gli standard delle schede di memoria specificano che ogni scheda si comporta come una raccolta numerata di settori a 512 byte che possono essere letti e scritti in modo indipendente in sequenza arbitraria, ma non è così che i dati vengono archiviati sui chip all'interno del carte. I chip di memoria utilizzati in una scheda di memoria tipica sono divisi in pagine a 528 byte; quelli a loro volta sono raggruppati in blocchi di 256 o più. Una volta che una pagina è stata scritta, non può essere riscritta senza cancellarla e tutte le altre pagine nel suo blocco. In teoria, sarebbe possibile per una scheda SD onorare una richiesta di scrivere un settore a 512 byte copiando nella RAM tutti i dati nel suo blocco, cancellando il blocco e riscrivendo l'intero blocco ma con nuovi dati in un settore . In pratica, la performance sarebbe terribile. Anziché, la scrittura di un settore farà sì che la scheda SD scelga una pagina vuota, scriva i dati lì con il suo numero di settore e varie informazioni accessorie (le pagine del motivo sono 528 byte anziché 512) e in qualche modo tengono traccia di quella posizione corretta per i dati. Quando le pagine vuote diventano scarse, il controller identificherà un blocco le cui pagine sono state per lo più sostituite da pagine scritte più di recente, copia tutte le pagine ancora correnti da quel blocco a blocchi vuoti, quindi cancella l'intero blocco ora ridondante . Tutta questa logica è gestita interamente dalla scheda stessa, senza alcun intervento da parte della fotocamera. Quando le pagine vuote diventano scarse, il controller identificherà un blocco le cui pagine sono state per lo più sostituite da pagine scritte più di recente, copia tutte le pagine ancora correnti da quel blocco a blocchi vuoti, quindi cancella l'intero blocco ora ridondante . Tutta questa logica è gestita interamente dalla scheda stessa, senza alcun intervento da parte della fotocamera. Quando le pagine vuote diventano scarse, il controller identificherà un blocco le cui pagine sono state per lo più sostituite da pagine scritte più di recente, copia tutte le pagine ancora correnti da quel blocco a blocchi vuoti, quindi cancella l'intero blocco ora ridondante . Tutta questa logica è gestita interamente dalla scheda stessa, senza alcun intervento da parte della fotocamera.

Tutta questa logica significa che oltre al FAT32 o ad altri file system visti dalla telecamera, la scheda SD dovrà avere un proprio sistema di allocazione e gestione dei blocchi. Eventuali problemi che si verificano in quel sistema possono causare la perdita di dati, indipendentemente dal tipo di sistema che si trova sopra di esso. In teoria, molte schede di memoria sono progettate per garantire che anche se l'alimentazione viene inaspettatamente rimossa durante alcune operazioni, la scheda sarà in grado di ripristinare lo stato della scheda a quello che era prima dell'inizio dell'operazione, oppure eseguirla fino al completamento ( se tutti i dati necessari fossero stati scritti e la scheda stesse semplicemente ripulendo i dati ridondanti). Sfortunatamente, le carte differiscono per quanto bene implementano tale logica. Se l'interruzione improvvisa dell'alimentazione blocca le tabelle di gestione della memoria di una scheda,

Personalmente, penso che sarebbe stato meglio per il consorzio SD specificare un file system indipendente da FAT32, o almeno specificare che anche se una scheda dovesse essere leggibile come volume FAT32, dovrebbe essere scritta usando una comunicazione basata su file protocollo. Una scheda che sa quali gruppi di settori sono membri di ciascun file potrebbe ottimizzare le sue routine di deframmentazione attorno a ciò, e potrebbe anche fare un lavoro migliore di protezione contro la perdita di dati rispetto a quella che potrebbe presentare il disco come un mazzo di 512 byte indipendenti settori, ma nel bene e nel male non è così che vengono specificate le cose.

Supponendo che la scheda sia stata semplicemente corrotta e che non sia stata lanciata o sovrascritta, ti consiglio vivamente di provare PhotoRec. (Mi ha fatto uscire da una situazione leggermente meno grave qualche mese fa. Ha anche trovato alcune immagini sopravvissute che venivano eliminate per un anno o due.)

http://www.cgsecurity.org/wiki/PhotoRec

Per quanto riguarda un diario di bordo, ho avuto la stessa domanda molte volte. Come altri hanno già detto, gli attuali supporti flash sono in realtà fragili rispetto ai supporti magnetici e il journaling è difficile. Poiché il modello di utilizzo per le fotocamere è generalmente scattare una serie di foto, leggerle, quindi eliminarle tutte, non è molto necessario disporre di funzionalità FS avanzate. Le implementazioni semplici e testate sono probabilmente più importanti del vantaggio marginale del journaling. Come ulteriore vantaggio, la stupida strategia di allocazione di FAT semplifica gli strumenti come PhotoRec.

1, Dio non può salvarti se hai perso fisicamente la carta. Cosa vuoi dire che hai perso una carta a Bali?

2, i Journaled FS sono costruiti per occasioni come improvvisi guasti del sistema operativo o improvvisi blackout. Mantengono coerenti i metadati FS, quando accadono cose brutte. Non aiutano se si desidera che i file eliminati vengano ripristinati.

3, Bad-block è il problema più vitale delle memorie basate su NAND FLASH. I blocchi danneggiati emergono quando si verificano degli scritti. Pertanto, quando si sceglie FS per uno storage NAND FLASH, la frequenza di scrittura è la prima cosa da considerare. Ovviamente, come tutti gli altri hanno detto, i Journaled FS portano più cose da scrivere.

4, i diario di bordo prendono più potere, ovviamente. Più complicato, certo. Ma questi non sono i motivi dominanti per cui non li adottiamo per NAND FLASH, credo.

TADA ~~ Ecco fatto.

Il file system stesso non deve essere complesso perché le immagini sono semplicemente scritte sulla scheda, non c'è quasi nessuna modifica apportata a un file dopo la creazione iniziale e non ci sono preoccupazioni simultanee sull'I / O dei file che devono essere preoccupate sulla fotocamera.

I problemi di integrità dei dati sono effettivamente risolti a livello hardware poiché TUTTA la memoria flash è intrinsecamente instabile. Il controller all'interno della scheda SD esegue molti controlli e trucchi di archiviazione per garantire che i dati siano validi. Un file system di journaling non farebbe nulla di utile in quanto si occupa dell'integrità della memorizzazione dei dati piuttosto che dell'integrità delle operazioni sui file.

Una telecamera utilizza operazioni di file così semplici (e ad alta velocità), che un file system complesso comporterebbe costi e complessità aggiuntivi, causando I / O più lenti e potenzialmente introducendo ulteriori bug che potrebbero causare la perdita di dati a causa di una gestione dei file più complessa, mentre non ottenere qualcosa di utile per una fotocamera.