Esiste un tar o cpio più intelligente là fuori per recuperare in modo efficiente un file archiviato nell'archivio?

Sto usando tarper archiviare un gruppo di file molto grandi (multi-GB) bz2.

Se uso tar -tf file.tarper elencare i file all'interno dell'archivio, questo richiede molto tempo per il completamento (~ 10-15 minuti).

Allo stesso modo, cpio -t < file.cpiorichiede altrettanto tempo per il completamento, più o meno alcuni secondi.

Di conseguenza, il recupero di un file da un archivio (tramite tar -xf file.tar myFileOfInterest.bz2ad esempio) è altrettanto lento.

Esiste un metodo di archiviazione là fuori che mantiene un "catalogo" facilmente disponibile con l'archivio, in modo che un singolo file all'interno dell'archivio possa essere recuperato rapidamente?

Ad esempio, un tipo di catalogo che memorizza un puntatore a un determinato byte nell'archivio, nonché la dimensione del file da recuperare (nonché qualsiasi altro dettaglio specifico del filesystem).

Esiste uno strumento (o argomento su taro cpio) che consente il recupero efficiente di un file all'interno dell'archivio?

tar (e cpio e afio e pax e programmi simili) sono formati orientati allo streaming: sono destinati allo streaming diretto su un nastro o convogliati in un altro processo. mentre, in teoria, sarebbe possibile aggiungere un indice alla fine del file / flusso, non conosco alcuna versione che lo faccia (sarebbe comunque un utile miglioramento)

non aiuterà con gli archivi tar o cpio esistenti, ma esiste un altro strumento, dar ("archivio del disco"), che crea file di archivio che contengono un tale indice e che consente di accedere rapidamente ai singoli file all'interno dell'archivio .

se dar non è incluso con unix / linux-dist, puoi trovarlo su:

http://dar.linux.free.fr/

È possibile utilizzare SquashFS per tali archivi. È

• progettato per l'accesso mediante un driver per fusibili (sebbene esista un'interfaccia tradizionale)
• compresso (maggiore è la dimensione del blocco, più efficiente)
• incluso nel kernel di Linux
• memorizza UID / GID e tempo di creazione
• consapevole dell'endianessa, quindi abbastanza portatile

L'unico inconveniente che conosco è che è di sola lettura.

http://squashfs.sourceforge.net/ http://www.tldp.org/HOWTO/SquashFS-HOWTO/whatis.html

Sebbene non memorizzi un indice, starsi presume che sia più veloce di tar. Inoltre supporta nomi di file più lunghi e ha un supporto migliore per gli attributi di file.

Come sono sicuro che tu sappia, decomprimere il file richiede tempo e probabilmente sarebbe un fattore nella velocità di estrazione anche se ci fosse un indice.

Modifica: potresti anche dare un'occhiata xar. Ha un'intestazione XML che contiene informazioni sui file nell'archivio.

Dalla pagina di riferimento:

L'intestazione XML di Xar consente di contenere metadati arbitrari sui file contenuti nell'archivio. Oltre ai metadati del file unix standard come la dimensione del file e i suoi tempi di modifica e creazione, xar può memorizzare informazioni come bit di file ext2fs e hfs, flag unix, riferimenti ad attributi estesi, informazioni sul Finder di Mac OS X, Mac OS X fork di risorse e hash dei dati del file.

Thorbjørn Ravn Anderser ha ragione. Tar GNU crea archivi "ricercabili" per impostazione predefinita. Ma non utilizza tali informazioni quando legge questi archivi se l'opzione -n ​​non viene fornita. Con l'opzione -n ​​ho appena estratto il file da 7 GB dall'archivio da 300 GB nel tempo necessario per leggere / scrivere 7 GB. Senza -n ci sono voluti più di un'ora e non ha prodotto risultati.

Non sono sicuro di come la compressione influisca su questo. Il mio archivio non è stato compresso. Gli archivi compressi non sono "ricercabili" perché il tar GNU corrente (1.26) scarica la compressione su un programma esterno.

L'unico formato di archivio che conosco che memorizza un indice è ZIP, perché ho dovuto ricostruire gli indici danneggiati più di una volta.

Non indicizza ciò che conosco, ma uso dump e ripristino con file di grandi dimensioni e navigare nell'albero di ripristino in modalità interattiva per selezionare file casuali è MOLTO veloce.

È possibile utilizzare il formato di archiviazione / compressione 7z (7zip) se si ha accesso al p7zip-fullpacchetto.

Su Ubuntu puoi usare questo comando per installarlo:

$ sudo apt-get install p7zip-full

Per creare un archivio è possibile utilizzare 7z a <archive_name> <file_or_directory>e se non si desidera comprimere i file e si desidera "archiviarli" così come sono, è possibile utilizzare l' -mx0opzione come:

$ 7z a -mx0 myarchive.7z myfile.txt

Creating archive myarchive.7z

È quindi possibile estrarre i file utilizzando 7z e:

$ 7z e myarchive.7z

Processing archive: myarchive.7z
Extracting  myfile.txt

Oppure puoi elencare l'indice dell'archivio con il 7z lquale è utile per la ricerca con grep:

$ 7z l myarchive.7z | grep

2014-07-08 12:13:39 ....A            0            0  myfile.txt

Questa è anche l' topzione per testare l'integrità, uper aggiungere / aggiornare un file nell'archivio ed eliminare un file.

NOTA IMPORTANTE
Do non utilizzare il formato 7zip per i backup del filesystem Linux in quanto non memorizza il proprietario e il gruppo dei file contenuti.

Credo che GNU Tar sia in grado di fare quello che vuoi, ma non riesco a trovare una risorsa definitiva che lo dica.

In ogni caso è necessario un formato di archiviazione con un indice (poiché ciò ti consentirà di fare ciò che desideri). Purtroppo non credo che i file ZIP possano crescere così tanto.