rsync esclude secondo .gitignore & .hgignore & svn: ignora come --filter =: C

Rsync include un'elegante opzione --cvs-excludeper "ignorare i file nello stesso modo in cui lo fa CVS", ma CVS è obsoleto da anni. C'è un modo per escludere anche file che sarebbero ignorati dai moderni sistemi di controllo delle versioni (Git, Mercurial, Subversion)?

Ad esempio, ho molti progetti Maven controllati da GitHub. In genere includono .gitignorealmeno un elenco target, la directory di compilazione Maven predefinita (che può essere presente al livello superiore o nei sottomoduli). Poiché il contenuto di queste directory è interamente usa e getta e può essere molto più grande del codice sorgente, vorrei escluderle quando si utilizza rsync per i backup.

Ovviamente posso --exclude=target/farlo in modo esplicito, ma questo sopprimerà accidentalmente le directory non correlate che per caso hanno un nome targete non dovrebbero essere ignorate.

E potrei fornire un elenco completo di percorsi assoluti per tutti i nomi di file e modelli menzionati in qualsiasi .gitignore, .hgignoreo svn:ignoreproprietà sul mio disco, ma questo sarebbe un elenco enorme che dovrebbe essere prodotto da una sorta di script.

Dato che rsync non ha alcun supporto integrato per i checkout VCS oltre a CVS, c'è qualche buon trucco per alimentare i propri schemi di ignoranza? O qualche tipo di sistema di callback in base al quale è possibile chiedere a uno script utente se un determinato file / directory debba essere incluso o meno?

Aggiornamento : --filter=':- .gitignore'come suggerito da LordJavac sembra funzionare anche per Git come --filter=:Cfa per CVS, almeno sugli esempi che ho trovato, anche se non è chiaro se la sintassi sia una corrispondenza esatta. --filter=':- .hgignore'non funziona molto bene per Mercurial; ad esempio un .hgignorecontenente una riga come ^target$(l'equivalente Mercurial di Git /target/) non è riconosciuto da rsync come espressione regolare. E niente sembra funzionare per Subversion, per il quale dovresti analizzare .svn/dir-prop-baseper una copia di lavoro 1.6 o precedente, e alzare le mani in sgomento per una copia di lavoro 1.7 o successiva.

Come accennato da luksan, puoi farlo con il --filterpassaggio a rsync. Ho ottenuto questo risultato con --filter=':- .gitignore'(c'è uno spazio prima di ".gitignore") che dice rsyncdi fare una fusione di directory con i .gitignorefile e di escluderli secondo le regole di git. Potresti anche voler aggiungere il tuo file ignora globale, se ne hai uno. Per renderlo più facile da usare, ho creato un alias rsyncche includeva il filtro.

È possibile utilizzare git ls-filesper creare l'elenco dei file esclusi dai file del repository .gitignore. https://git-scm.com/docs/git-ls-files

Opzioni:

• --exclude-standardConsidera tutti i .gitignorefile.
• -o Non ignorare le modifiche non programmate.
• -i Visualizza solo i file ignorati.
• --directory Visualizza il percorso della directory solo se l'intera directory viene ignorata.

L'unica cosa che mi restava da ignorare era .git.

rsync -azP --exclude=.git --exclude=`git -C <SRC> ls-files --exclude-standard -oi --directory` <SRC> <DEST>

che ne dici rsync --exclude-from='path/.gitignore' --exclude-from='path/myignore.txt' source destination?
Ha funzionato per me.
Credo che tu possa avere anche più --exclude-fromparametri.

Soluzione 2018 confermata

rsync -ah --delete 
    --include .git --exclude-from="$(git -C SRC ls-files \
        --exclude-standard -oi --directory >.git/ignores.tmp && \
        echo .git/ignores.tmp')" \
    SRC DST 

Dettagli: --exclude-from è obbligatorio al posto di --exclude perché probabilmente il caso in cui l'elenco di eccezioni non verrà analizzato come argomento. Escludi da richiede un file e non può funzionare con le pipe.

La soluzione corrente salva il file di esclusione all'interno della cartella .git per garantire che non influirà git statusmantenendolo autonomo. Se vuoi puoi usare / tmp.

Per mercurial potresti usare

hg status -i | sed 's/^I //' > /tmp/tmpfile.txt

per raccogliere l'elenco dei file che NON sono sotto il controllo di Mercurial a causa delle restrizioni .hgignore e quindi eseguire

rsync -avm --exclude-from=/tmp/tmpfile.txt --delete source_dir/ target_dir/

per sincronizzare nuovamente tutti i file tranne quelli ignorati. Notare il flag -m in rsync che escluderà le directory vuote dalla sincronizzazione perché hg status -i elencherebbe solo i file esclusi, non le directory

Prova questo:

rsync -azP --delete --filter=":- .gitignore" <SRC> <DEST>

Può copiare tutti i file nella directory remota escludendo i file in ".gitignore" ed eliminare i file non presenti nella directory corrente.

Per la rsyncpagina man, oltre all'elenco standard di modelli di file:

i file elencati in $ HOME / .cvsignore vengono aggiunti all'elenco e tutti i file elencati nella variabile d'ambiente CVSIGNORE

Quindi, il mio file $ HOME / .cvsignore ha questo aspetto:

.git/
.sass-cache/

per escludere .git e i file generati da Sass .

Avevo un numero di .gitignorefile molto grandi e nessuna delle soluzioni "pure rsync" ha funzionato per me. Ho scritto questo script wrapper rsync , rispetta pienamente le .gitignoreregole (includi !eccezioni in stile e .gitignorefile nelle sottodirectory) e ha funzionato alla grande per me.

Controlla la sezione REGOLE FILTRO FILE MERGE in rsync (1).

Sembra che sia possibile creare una regola rsync --filter che includerà i file .gitignore mentre attraversa la struttura della directory.

Invece di creare filtri di esclusione, puoi utilizzare git ls-filesper selezionare ogni file da rsync:

#!/usr/bin/env bash

if [[ ! $# -eq 2 ]] ; then
    echo "Usage: $(basename $0) <local source> <rsync destination>"
    exit 1
fi

cd $1
versioned=$(git ls-files --exclude-standard)
rsync --verbose --links --times --relative --protect-args ${versioned} $2

Funziona anche se git ls-filesrestituisce percorsi separati da nuova riga. Probabilmente non funzionerà se hai file con versione con spazi nei nomi dei file.

alternative:

git ls-files -zi --exclude-standard |rsync -0 --exclude-from=- ...

git ls-files -zi --exclude-per-directory=".gitignore" |...

(rsync comprende solo in parte .gitignore)

Risposta breve

rsync -r --info=progress2 --filter=':- .gitignore' SOURCE DEST/

Significato dei parametri:

-r: ricorsivo

--info=...: mostra i progressi

--filter=...: esclude secondo le regole elencate nel file .gitignore