Comando Shell nella directory tar escludendo determinati file / cartelle

Esiste un semplice comando / script di shell che supporta l'esclusione di determinati file / cartelle dall'archiviazione?

Ho una directory che deve essere archiviata con una sottodirectory che contiene numerosi file molto grandi di cui non ho bisogno per il backup.

Non proprio soluzioni:

Il tar --exclude=PATTERNcomando corrisponde al modello specificato ed esclude quei file, ma ho bisogno di file e cartelle specifici da ignorare (percorso completo del file), altrimenti i file validi potrebbero essere esclusi.

Potrei anche usare il comando find per creare un elenco di file ed escludere quelli che non voglio archiviare e passare l'elenco a tar, ma funziona solo con una piccola quantità di file. Ne ho decine di migliaia.

Sto iniziando a pensare che l'unica soluzione sia quella di creare un file con un elenco di file / cartelle da escludere, quindi utilizzare rsync con --exclude-from=fileper copiare tutti i file in una directory tmp e quindi usare tar per archiviare quella directory.

Qualcuno può pensare a una soluzione migliore / più efficiente?

EDIT: la soluzione di Charles Ma funziona bene. Il grande gotcha è che --exclude='./folder' DEVE essere all'inizio del comando tar. Comando completo (prima cd, quindi il backup è relativo a quella directory):

cd /folder_to_backup
tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

Puoi avere più opzioni di esclusione per tar così

$ tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

ecc funzionerà. Fare sicuri di mettere --exclude prima le voci di origine e di destinazione.

È possibile escludere directory con --excludefor tar.

Se vuoi archiviare tutto tranne /usrche puoi usare:

tar -zcvf /all.tgz / --exclude=/usr

Nel tuo caso forse qualcosa del genere

tar -zcvf archive.tgz arc_dir --exclude=dir/ignore_this_dir

Opzioni possibili per escludere file / directory dal backup usando tar:

Escludere i file utilizzando più pattern

tar -czf backup.tar.gz --exclude=PATTERN1 --exclude=PATTERN2 ... /path/to/backup

Escludere i file utilizzando un file di esclusione riempito con un elenco di motivi

tar -czf backup.tar.gz -X /path/to/exclude.txt /path/to/backup

Escludere i file utilizzando i tag posizionando un file tag in qualsiasi directory che deve essere ignorata

tar -czf backup.tar.gz --exclude-tag-all=exclude.tag /path/to/backup

vecchia domanda con molte risposte, ma ho scoperto che nessuna era abbastanza chiara per me, quindi vorrei aggiungere il mio tentativo.

se hai la seguente struttura

/home/ftp/mysite/

con i seguenti file / cartelle

/home/ftp/mysite/file1
/home/ftp/mysite/file2
/home/ftp/mysite/file3
/home/ftp/mysite/folder1
/home/ftp/mysite/folder2
/home/ftp/mysite/folder3

quindi, vuoi creare un file tar che contenga tutto all'interno di / home / ftp / mysite (per spostare il sito su un nuovo server), ma file3è solo spazzatura e tutto infolder3 non è necessario, quindi salteremo quei due.

usiamo il formato

tar -czvf <name of tar file> <what to tar> <any excludes>

dove c = create, z = zip e v = verbose (puoi vedere i file man mano che vengono inseriti, utile per assicurarti che nessuno dei file che escludi vengano aggiunti). e f = file.

quindi, il mio comando sarebbe simile a questo

cd /home/ftp/
tar -czvf mysite.tar.gz mysite --exclude='file3' --exclude='folder3'

nota che i file / cartelle esclusi sono relativamente alla radice del tuo tar (ho provato il percorso completo qui rispetto a / ma non riesco a farlo funzionare).

spero che questo possa aiutare qualcuno (e la prossima volta che lo google)

È possibile utilizzare la "notazione di formica" standard per escludere le directory relative.
Questo funziona per me ed esclude qualsiasi directory .git o node_module:

tar -cvf myFile.tar --exclude=**/.git/* --exclude=**/node_modules/*  -T /data/txt/myInputFile.txt 2> /data/txt/myTarLogFile.txt

myInputFile.txt contiene:

/ dev2 / java
/ dev2 / javascript

L'ho provato, almeno con la versione Cygwin di tar che sto usando ("CYGWIN_NT-5.1 1.7.17 (0.262 / 5/3) 2012-10-19 14:39 i686 Cygwin" su Windows XP Home Edition SP3), l'ordine delle opzioni è importante.

Mentre questa costruzione ha funzionato per me:

tar cfvz target.tgz --exclude='<dir1>' --exclude='<dir2>' target_dir

quello non ha funzionato:

tar cfvz --exclude='<dir1>' --exclude='<dir2>' target.tgz target_dir

Questo, mentre tar --helprivela quanto segue:

tar [OPTION...] [FILE]

Quindi, anche il secondo comando dovrebbe funzionare, ma a quanto pare non sembra essere il caso ...

Best rgds,

Questo modello di esclusione gestisce il suffisso del nome file come png o mp3, nonché i nomi delle directory come .git e node_modules

tar --exclude={*.png,*.mp3,*.wav,.git,node_modules} -Jcf ${target_tarball}  ${source_dirname}

Per coloro che hanno problemi con esso, alcune versioni di tar funzionerebbero correttamente solo senza './' nel valore di esclusione.

Tar --version

tar (GNU tar) 1.27.1

Sintassi dei comandi che funziona:

tar -czvf ../allfiles-butsome.tar.gz * --exclude=acme/foo

Questi non funzioneranno:

$ tar -czvf ../allfiles-butsome.tar.gz * --exclude=./acme/foo
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude='./acme/foo'
$ tar --exclude=./acme/foo -czvf ../allfiles-butsome.tar.gz *
$ tar --exclude='./acme/foo' -czvf ../allfiles-butsome.tar.gz *
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude=/full/path/acme/foo
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude='/full/path/acme/foo'
$ tar --exclude=/full/path/acme/foo -czvf ../allfiles-butsome.tar.gz *
$ tar --exclude='/full/path/acme/foo' -czvf ../allfiles-butsome.tar.gz *

L'ho trovato da qualche altra parte, quindi non mi prenderò il merito, ma ha funzionato meglio di qualsiasi delle soluzioni sopra per i miei problemi specifici del Mac (anche se questo è chiuso):

tar zc --exclude __MACOSX --exclude .DS_Store -f <archive> <source(s)>

Per Mac OSX ho dovuto fare

tar -zcv --exclude='folder' -f theOutputTarFile.tar folderToTar

Nota il -fdopo il--exclude=

Sono d'accordo che la bandiera --exclude sia l'approccio giusto.

$ tar --exclude='./folder_or_file' --exclude='file_pattern' --exclude='fileA'

Un avvertimento per un effetto collaterale che non ho trovato immediatamente ovvio: l'esclusione di "fileA" in questo esempio cercherà "fileA" RICURSIVAMENTE!

Esempio: una directory con una singola sottodirectory contenente un file con lo stesso nome (data.txt)

data.txt
config.txt
--+dirA
  |  data.txt
  |  config.docx

• Se si utilizza --exclude='data.txt'l'archivio non conterrà SIA data.txt file. Ciò può causare risultati imprevisti se si archiviano librerie di terze parti, come una directory node_modules.

• Per evitare questo problema assicurati di dare l'intero percorso, come --exclude='./dirA/data.txt'

Per evitare possibili 'xargs: Argument list too long'errori dovuti all'uso find ... | xargs ...durante l'elaborazione di decine di migliaia di file, è possibile reindirizzare l'output finddirettamente tarall'utilizzo find ... -print0 | tar --null ....

# archive a given directory, but exclude various files & directories 
# specified by their full file paths
find "$(pwd -P)" -type d \( -path '/path/to/dir1' -or -path '/path/to/dir2' \) -prune \
   -or -not \( -path '/path/to/file1' -or -path '/path/to/file2' \) -print0 | 
   gnutar --null --no-recursion -czf archive.tar.gz --files-from -
   #bsdtar --null -n -czf archive.tar.gz -T -

Dopo aver letto questo thread, ho fatto un piccolo test su RHEL 5 e qui sono i miei risultati per il tarring della directory abc:

Ciò escluderà l'errore delle directory, i registri e tutti i file nelle directory:

tar cvpzf abc.tgz abc/ --exclude='abc/error' --exclude='abc/logs'

L'aggiunta di un carattere jolly dopo la directory esclusa esclude i file ma conserva le directory:

tar cvpzf abc.tgz abc/ --exclude='abc/error/*' --exclude='abc/logs/*'

Utilizzare il comando find in combinazione con l'opzione tar append (-r). In questo modo è possibile aggiungere file a un tar esistente in un solo passaggio, invece di una soluzione a due passaggi (creare un elenco di file, creare tar).

find /dir/dir -prune ... -o etc etc.... -exec tar rvf ~/tarfile.tar {} \;

Puoi anche utilizzare una delle opzioni "--exclude-tag" in base alle tue esigenze:

• --exclude-tag = FILE
• --exclude-tag-all = FILE
• --exclude-tag-under = FILE

La cartella che ospita il FILE specificato verrà esclusa.

Dopo aver letto tutte queste buone risposte per versioni diverse e aver risolto il problema da solo, penso che ci siano dettagli molto piccoli che sono molto importanti e rari per l'uso generale di GNU / Linux , che non sono abbastanza stressati e meritano più di commenti.

Quindi non proverò a rispondere alla domanda per ogni caso, ma cercherò invece di registrare dove cercare quando le cose non funzionano.

È MOLTO IMPORTANTE AVVISARE:

1. L'ORDINE DELLE OPZIONI CONTINUA: non è lo stesso mettere il --exclude prima che dopo il backup dell'opzione file e delle directory. Questo è inaspettato, almeno per me, perché nella mia esperienza, nei comandi GNU / Linux, di solito l'ordine delle opzioni non ha importanza.
2. Diverse versioni tar si aspettano queste opzioni in ordine diverso: ad esempio, la risposta di Andrew indica che in GNU tar v 1.26 e 1.28 le esclusioni arrivano per ultime, mentre nel mio caso, con GNU tar 1.29, è l'altro modo.
3. THE TRAILING SLASHES MATTER : almeno in GNU tar 1.29, non dovrebbe esserlo .

Nel mio caso, per GNU tar 1.29 su Debian stretch, il comando che ha funzionato è stato

tar --exclude="/home/user/.config/chromium" --exclude="/home/user/.cache" -cf file.tar  /dir1/ /home/ /dir3/

Le citazioni non avevano importanza, funzionava con o senza di esse.

Spero che questo sia utile a qualcuno.

Puoi usare cpio (1) per creare file tar. cpio prende i file da archiviare su stdin, quindi se hai già capito il comando find che vuoi usare per selezionare i file dell'archivio, esegui il pipe in cpio per creare il file tar:

find ... | cpio -o -H ustar | gzip -c > archive.tar.gz

gnu tar v 1.26 --exclude deve venire dopo il file di archivio e gli argomenti della directory di backup, non dovrebbe avere barre iniziali o finali e non preferisce virgolette (singole o doppie). Quindi rispetto alla directory PARENT di cui eseguire il backup, è:

tar cvfz /path_to/mytar.tgz ./dir_to_backup --exclude=some_path/to_exclude

tar -cvzf destination_folder source_folder -X /home/folder/excludes.txt

-X indica un file che contiene un elenco di nomi di file che devono essere esclusi dal backup. Ad esempio, è possibile specificare * ~ in questo file per non includere alcun nome di file che termina con ~ nel backup.

La tua scommessa migliore è usare find with tar, via xargs (per gestire il gran numero di argomenti). Per esempio:

find / -print0 | xargs -0 tar cjf tarfile.tar.bz2

Possibile risposta ridondante ma da quando l'ho trovata utile, eccola qui:

Mentre un root di FreeBSD (cioè usando csh) volevo copiare il mio intero filesystem di root su / mnt ma senza / usr e (ovviamente) / mnt. Questo è ciò che ha funzionato (I am at /):

tar --exclude ./usr --exclude ./mnt --create --file - . (cd /mnt && tar xvd -)

Il mio punto è che era necessario (inserendo il ./ ) specificare di tar che le directory escluse dovevano essere copiate parte della directory maggiore.

I miei € 0,02

Non ho avuto fortuna a ottenere tar per escludere una sottodirectory da 5 Gigabyte a pochi livelli di profondità. Alla fine, ho appena usato il comando zip unix. Ha funzionato molto più facilmente per me.

Quindi, per questo esempio particolare dal post originale
(tar --exclude = '. / Folder' --exclude = '. / Upload / folder2' -zcvf /backup/filename.tgz.)

L'equivalente sarebbe:

zip -r /backup/filename.zip. -x upload / cartella / ** \ * upload / cartella2 / ** \ *

(NOTA: ecco il post che ho usato originariamente che mi ha aiutato /superuser/312301/unix-zip-directory-but-excluded-specific-subdirectories-and-everything-within-t )

Controlla

tar cvpzf zip_folder.tgz . --exclude=./public --exclude=./tmp --exclude=./log --exclude=fileName

Voglio avere una nuova versione front-end (cartella angolare) su localhost. Inoltre, la cartella git è enorme nel mio caso e voglio escluderla. Devo scaricarlo dal server e decomprimerlo per eseguire l'applicazione.

Comprimi la cartella angolare da / var / lib / tomcat7 / webapps, spostala nella cartella / tmp con il nome angular. 23.12.19.tar.gz

Comando:

tar --exclude='.git' -zcvf /tmp/angular.23.12.19.tar.gz /var/lib/tomcat7/webapps/angular/

Caso di successo: 1) se si fornisce il percorso completo per eseguire il backup, in exclude deve essere utilizzato anche il percorso completo.

tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz --exclude = '/ opt / ABC / csv / ' --exclude = '/ opt / ABC / log / ' / opt / ABC

2) se si fornisce il percorso corrente per eseguire il backup, anche in exclude deve essere utilizzato solo il percorso corrente.

tar -zcvf backup_27032020.tar.gz --exclude = 'ABC / csv / ' --exclude = 'ABC / log / ' ABC

Caso di fallimento:

1. se si dà alla directory currentpath il backup e il percorso completo da ignorare, non funzionerà

   tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz --exclude = '/ opt / ABC / csv / ' --exclude = '/ opt / ABC / log / ' ABC

Nota: la menzione di exclude prima / dopo la directory di backup va bene.

Se stai cercando di escludere i file VCS (Version Control System), tar supporta già due opzioni interessanti al riguardo! :)

1. Opzione: --exclude-vcs

Ciò esclude opzione i file e le directory utilizzate seguendo sistemi di controllo versione: CVS, RCS, SCCS, SVN, Arch, Bazaar, Mercurial, e Darcs.

A partire dalla versione 1.32, sono esclusi i seguenti file:

• CVS/e tutto sotto di esso
• RCS/e tutto sotto di esso
• SCCS/e tutto sotto di esso
• .git/e tutto sotto di esso
• .gitignore
• .gitmodules
• .gitattributes
• .cvsignore
• .svn/e tutto sotto di esso
• .arch-ids/e tutto sotto di esso
• {arch}/e tutto sotto di esso
• =RELEASE-ID
• =meta-update
• =update
• .bzr
• .bzrignore
• .bzrtags
• .hg
• .hgignore
• .hgrags

• _darcs

  2. Opzione: --exclude-vcs-ignores

Quando si archiviano directory che si trovano in alcuni sistemi di controllo versione (VCS), è spesso conveniente leggere i pattern di esclusione dai file ignorati di questo VCS (ad es .cvsignore. .gitignore, Ecc.). Questa opzione offre tale possibilità.

Prima di archiviazione di una directory, vedere se contiene uno dei seguenti file: cvsignore, .gitignore, .bzrignore, o .hgignore. In tal caso, leggi ignora i pattern di questi file.

Gli schemi sono trattati in modo simile a come li tratterebbe il VCS corrispondente, ovvero:

.cvsignore

Contiene modelli globbing in stile shell che si applicano solo alla directory in cui risiede questo file. Non sono consentiti commenti nel file. Le righe vuote vengono ignorate.

.gitignore

Contiene modelli di globbing stile shell. Si applica alla directory in cui .gitfilesi trova e a tutte le sue sottodirectory.

Qualsiasi riga che inizia con a #è un commento. La barra rovesciata sfugge al carattere del commento.

.bzrignore

Contiene modelli di globbing shell ed espressioni regolari (se preceduto da RE:(16). I pattern influenzano la directory e tutte le sue sottodirectory.

Qualsiasi riga che inizia con a #è un commento.

.hgignore

Contiene espressioni regolari posix (17). La linea syntax: globpassa a modelli di globbing shell. La linea syntax: regexpritorna indietro. I commenti iniziano con a #. I pattern influenzano la directory e tutte le sue sottodirectory.

3. Esempio

tar -czv --exclude-vcs --exclude-vcs-ignores -f path/to/my-tar-file.tar.gz path/to/my/project/

Il seguente script bash dovrebbe fare il trucco. Usa la risposta data qui da Marcus Sundman.

#!/bin/bash

echo -n "Please enter the name of the tar file you wish to create with out extension "
read nam

echo -n "Please enter the path to the directories to tar "
read pathin

echo tar -czvf $nam.tar.gz
excludes=`find $pathin -iname "*.CC" -exec echo "--exclude \'{}\'" \;|xargs`
echo $pathin

echo tar -czvf $nam.tar.gz $excludes $pathin

Questo stamperà il comando che ti serve e puoi semplicemente copiarlo e incollarlo nuovamente. Probabilmente esiste un modo più elegante per fornirlo direttamente alla riga di comando.

Basta cambiare * .CC per qualsiasi altra estensione, nome di file o regex comune che si desidera escludere e questo dovrebbe comunque funzionare.

MODIFICARE

Solo per aggiungere una piccola spiegazione; find genera un elenco di file corrispondenti al regex scelto (in questo caso * .CC). Questo elenco viene passato tramite xargs al comando echo. Questo stampa - esclude 'una voce dalla lista'. Le barre () sono caratteri di escape per i segni '.