Converti le terminazioni di riga per l'intero albero di directory (Git)


162

Seguente situazione:

Sto lavorando su un Mac con OS X e recentemente mi sono unito a un progetto i cui membri finora usano tutti Windows. Uno dei miei primi compiti è stato quello di impostare il codebase in un repository Git, quindi ho estratto l'albero delle directory da FTP e ho provato a controllarlo nel repository Git che avevo preparato localmente. Quando ho provato a farlo, tutto quello che ho avuto è stato questo

fatal: CRLF would be replaced by LF in blog/license.txt.

Dal momento che ciò influisce su tutti i file sotto la cartella "blog", sto cercando un modo per convertire comodamente TUTTI i file nella struttura in terminazioni di linea Unix. Esiste uno strumento che lo fa immediatamente o ottengo lo scripting qualcosa da solo?

Per riferimento, la mia configurazione Git relativa alle terminazioni di riga:

core.safecrlf=true
core.autocrlf=input

Risposte:


268

dos2unix lo fa per te. Processo abbastanza semplice.
dos2unix filename

Grazie a toolbear, ecco un one-liner che sostituisce ricorsivamente le terminazioni di linea e gestisce correttamente spazi bianchi, virgolette e meta-caratteri shell.

find . -type f -exec dos2unix {} \;

Se stai usando i file binari dos2unix 6.0 verranno ignorati.


8
find blog -type f | xargs dos2unixdovrebbe essere più veloce. Non è necessario -name *.*neanche, a meno che non si desideri specificamente solo file con un punto da qualche parte nel nome. Quello è un windows glob, non uno * nix.
Inutile

15
Tubazioni finda xargsfallirà se findcorrisponde a qualsiasi file con spazi vuoti, le citazioni, o altri caratteri shell meta nel loro percorso. Almeno usare find blog -type f -print0 | xargs -0 dos2unixper gestire il caso degli spazi bianchi. Per evitare le virgolette, devi usare find's -execinvece di piping, ecc. La dos2unixpagina man non specifica quale sia il suo comportamento se lo invochi su file binari. Se converte CRLF in file binari, li corromperà. Vedi la mia risposta per un'alternativa più sicura, anche se più lunga.
toolbear,

1
@lukmdo che non è la versione installata su centos 6.4 ..... che li blocca .... invece ho dovuto d / l da qui rpmfind.net/linux/rpm2html/search.php?query=dos2unix
Kerridge0

Addendum: l'interfaccia della riga di comando dos2unix si installa più facilmente tramite Homebrew (e non con npm).
2540625

2
Come si potrebbero ignorare le directory usando questo approccio, se possibile?
datatype_void

50

Supponendo che tu abbia GNU grepe perlquesto convertirà ricorsivamente CRLF in LF in file non binari nella directory corrente:

find . -type f -exec grep -qIP '\r\n' {} ';' -exec perl -pi -e 's/\r\n/\n/g' {} '+'

Come funziona

Trova ricorsivamente nella directory corrente; cambia .inblog o whatevsottodirectory per limitare la sostituzione:

find .

Abbina solo i file normali:

  -type f

Verifica se il file contiene CRLF. Escludere file binari. Esegue il grepcomando per ogni file normale. Questo è il prezzo dell'esclusione dei binari. Se hai un vecchio greppotresti provare a costruire un test usando il filecomando:

  -exec grep -qIP '\r\n' {} ';'

Sostituire CRLF con LF. Il '+'secondo -execindica finddi accumulare file corrispondenti e di passarli a una (o il minor numero possibile) di invocazioni del comando, come il piping a xargs, ma senza problemi se il percorso del file contiene spazi, virgolette o altri meta-caratteri della shell. L' ia -pidice a perl di modificare il file al suo posto. Puoi usare sedo awkqui con qualche lavoro, e probabilmente cambierai '+' in ';' e invoca un processo separato per ogni corrispondenza:

  -exec perl -pi -e 's/\r\n/\n/g' {} '+'

6
Nel caso in cui aiuti qualcuno: grep -qIP '\r\n'non corrisponde mai a nulla sul mio sistema CentOS. Cambiandolo in grep -qIP '\r$'funzionato.
Steve Onorato,

Odio chiedere nei commenti, ma c'è un modo per escludere una cartella come node_modules?
datatype_void

1
@datatype_void dare un'occhiata a stackoverflow.com/questions/4210042/… per come modificare la findparte del comando per escludere le directory. Suggeriscono di usare -path, ma puoi anche usare -regexo -iregex, cioè -not -regex '.*/node_modules/.*'che escluderà a node_modulesa qualsiasi profondità.
toolbear,

Scusate se vengo fuori come regexo bashnoob, ma per quanto riguarda le esclusioni multiple, diciamo node_modulee distper esempio?
datatype_void

GNU grep è richiesto per il -Pflag. OS X è passato da GNU grep a BSD grep. Alcune alternative per OS X: stackoverflow.com/questions/16658333/...
toolbear

29

Ecco un'opzione migliore: Swiss File Knife . Funziona in modo ricorsivo tra le sottodirectory e gestisce correttamente spazi e caratteri speciali.

Tutto quello che devi fare è:

sfk remcr -dir your_project_directory

Bonus: sfk fa anche molte altre conversioni. Vedi sotto per l'elenco completo:

SFK - The Swiss File Knife File Tree Processor.
Release 1.6.7 Base Revision 2 of May  3 2013.
StahlWorks Technologies, http://stahlworks.com/
Distributed for free under the BSD License, without any warranty.

type "sfk commandname" for help on any of the following.
some commands require to add "-help" for the help text.

   file system
      sfk list       - list directory tree contents.
                       list latest, oldest or biggest files.
                       list directory differences.
                       list zip jar tar gz bz2 contents.
      sfk filefind   - find files by filename
      sfk treesize   - show directory size statistics
      sfk copy       - copy directory trees additively
      sfk sync       - mirror tree content with deletion
      sfk partcopy   - copy part from a file into another one
      sfk mkdir      - create directory tree
      sfk delete     - delete files and folders
      sfk deltree    - delete whole directory tree
      sfk deblank    - remove blanks in filenames
      sfk space [-h] - tell total and free size of volume
      sfk filetime   - tell times of a file
      sfk touch      - change times of a file

   conversion
      sfk lf-to-crlf - convert from LF to CRLF line endings
      sfk crlf-to-lf - convert from CRLF to LF line endings
      sfk detab      - convert TAB characters to spaces
      sfk entab      - convert groups of spaces to TAB chars
      sfk scantab    - list files containing TAB characters
      sfk split      - split large files into smaller ones
      sfk join       - join small files into a large one
      sfk hexdump    - create hexdump from a binary file
      sfk hextobin   - convert hex data to binary
      sfk hex        - convert decimal number(s) to hex
      sfk dec        - convert hex number(s) to decimal
      sfk chars      - print chars for a list of codes
      sfk bin-to-src - convert binary to source code

   text processing
      sfk filter     - search, filter and replace text data
      sfk addhead    - insert string at start of text lines
      sfk addtail    - append string at end of text lines
      sfk patch      - change text files through a script
      sfk snapto     - join many text files into one file
      sfk joinlines  - join text lines split by email reformatting
      sfk inst       - instrument c++ sourcecode with tracing calls
      sfk replace    - replace words in binary and text files
      sfk hexfind    - find words in binary files, showing hexdump
      sfk run        - run command on all files of a folder
      sfk runloop    - run a command n times in a loop
      sfk printloop  - print some text many times
      sfk strings    - extract strings from a binary file
      sfk sort       - sort text lines produced by another command
      sfk count      - count text lines, filter identical lines
      sfk head       - print first lines of a file
      sfk tail       - print last lines of a file
      sfk linelen    - tell length of string(s)

   search and compare
      sfk find       - find words in binary files, showing text
      sfk md5gento   - create list of md5 checksums over files
      sfk md5check   - verify list of md5 checksums over files
      sfk md5        - calc md5 over a file, compare two files
      sfk pathfind   - search PATH for location of a command
      sfk reflist    - list fuzzy references between files
      sfk deplist    - list fuzzy dependencies between files
      sfk dupfind    - find duplicate files by content

   networking
      sfk httpserv   - run an instant HTTP server.
                       type "sfk httpserv -help" for help.
      sfk ftpserv    - run an instant FTP server
                       type "sfk ftpserv -help" for help.
      sfk ftp        - instant anonymous FTP client
      sfk wget       - download HTTP file from the web
      sfk webrequest - send HTTP request to a server
      sfk tcpdump    - print TCP conversation between programs
      sfk udpdump    - print incoming UDP requests
      sfk udpsend    - send UDP requests
      sfk ip         - tell own machine's IP address(es).
                       type "sfk ip -help" for help.
      sfk netlog     - send text outputs to network,
                       and/or file, and/or terminal

   scripting
      sfk script     - run many sfk commands in a script file
      sfk echo       - print (coloured) text to terminal
      sfk color      - change text color of terminal
      sfk alias      - create command from other commands
      sfk mkcd       - create command to reenter directory
      sfk sleep      - delay execution for milliseconds
      sfk pause      - wait for user input
      sfk label      - define starting point for a script
      sfk tee        - split command output in two streams
      sfk tofile     - save command output to a file
      sfk toterm     - flush command output to terminal
      sfk loop       - repeat execution of a command chain
      sfk cd         - change directory within a script
      sfk getcwd     - print the current working directory
      sfk require    - compare version text

   development
      sfk bin-to-src - convert binary data to source code
      sfk make-random-file - create file with random data
      sfk fuzz       - change file at random, for testing
      sfk sample     - print example code for programming
      sfk inst       - instrument c++ with tracing calls

   diverse
      sfk media      - cut video and binary files
      sfk view       - show results in a GUI tool
      sfk toclip     - copy command output to clipboard
      sfk fromclip   - read text from clipboard
      sfk list       - show directory tree contents
      sfk env        - search environment variables
      sfk version    - show version of a binary file
      sfk ascii      - list ISO 8859-1 ASCII characters
      sfk ascii -dos - list OEM codepage 850 characters
      sfk license    - print the SFK license text

   help by subject
      sfk help select   - how dirs and files are selected in sfk
      sfk help options  - general options reference
      sfk help patterns - wildcards and text patterns within sfk
      sfk help chain    - how to combine (chain) multiple commands
      sfk help shell    - how to optimize the windows command prompt
      sfk help unicode  - about unicode file reading support
      sfk help colors   - how to change result colors
      sfk help xe       - for infos on sfk extended edition.

   All tree walking commands support file selection this way:

   1. short format with ONE directory tree and MANY file name patterns:
      src1dir .cpp .hpp .xml bigbar !footmp
   2. short format with a list of explicite file names:
      letter1.txt revenues9.xls report3\turnover5.ppt
   3. long format with MANY dir trees and file masks PER dir tree:
      -dir src1 src2 !src\save -file foosys .cpp -dir bin5 -file .exe

   For detailed help on file selection, type "sfk help select".

   * and ? wildcards are supported within filenames. "foo" is interpreted
   as "*foo*", so you can leave out * completely to search a part of a name.
   For name start comparison, say "\foo" (finds foo.txt but not anyfoo.txt).

   When you supply a directory name, by default this means "take all files".

      sfk list mydir                lists ALL  files of mydir, no * needed.
      sfk list mydir .cpp .hpp      lists SOME files of mydir, by extension.
      sfk list mydir !.cfg          lists all  files of mydir  EXCEPT .cfg

   general options:
      -tracesel tells in detail which files and/or directories are included
                or excluded, and why (due to which user-supplied mask).
      -nosub    do not process files within subdirectories.
      -nocol    before any command switches off color output.
      -quiet    or -nohead shows less output on some commands.
      -hidden   includes hidden and system files and dirs.
      For detailed help on all options, type "sfk help options".

   beware of Shell Command Characters.
      command parameters containing characters < > | ! & must be sur-
      rounded by quotes "". type "sfk filter" for details and examples.

   type "sfk ask word1 word2 ..."   to search ALL help text for words.
   type "sfk dumphelp"              to print  ALL help text.

EDIT: un avvertimento: fai attenzione quando lo esegui su cartelle che hanno file binari, poiché distruggerà efficacemente i tuoi file, in particolare le directory .git . In questo caso, non eseguire sfk nell'intera cartella, ma selezionare invece estensioni di file specifiche (* .rb, * .py, ecc.). Esempio:sfk remcr -dir chef -file .rb -file .json -file .erb -file .md


Funziona alla grande su OSX Mavericks. Non è necessario installare nulla, basta eseguire lo script dal dmg montato e il tuo terminale sembra pronto.
Nate Cook,

@Gui Ambros Non devi preoccuparti dei file all'interno della cartella .git. sfk non aggiorna i file all'interno delle cartelle nascoste per impostazione predefinita.
bittusarkar,

1
@bittusarkar: Al momento della mia risposta, sfkho elaborato efficacemente la mia intera cartella .git e distrutto un mucchio di binari (da qui la mia modifica ; non ricordo se fosse Linux o Mac). Potrebbero aver modificato il comportamento predefinito nelle versioni più recenti, ma consiglio comunque di specificare l'estensione, per sicurezza.
Gui Ambros,

1
Questo ha funzionato bene per me, dopo aver trascorso troppo tempo a cercare di normalizzare i miei repository utilizzando i comandi git consigliati che semplicemente non riparavano tutti i file rilevanti.
angularsen,

1
Grazie! Ho appena usato questo per convertire un sacco di file in modo rapido e indolore e ora posso aggiungerli all'area di gestione temporanea in Git. Su OSX 10.9.5 e non sono sicuro di dove siano stati creati i file.
Ryanwc,

16
find . -not \( -name .svn -prune -o -name .git -prune \) -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Questo è molto più sicuro in quanto evita di corrompere il tuo repo git. Aggiungi o sostituisci .git, .svn con .bzr, .hg o qualsiasi altro sorgente controlli il tuo utilizzo nell'elenco non .


3
Questa è la risposta migliore se non hai dovuto installare qualcosa come dos2unix. Consente l'esclusione dei tipi di file ed evita di danneggiare i file di codice sorgente.
Raghavan,

10

Su OS X, questo ha funzionato per me:

find ./ -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Avviso: eseguire il backup della directory prima di eseguire questo comando.


5
Voglio solo notare che questo ha corrotto il mio repository git. Ho provato di nuovo spostando la cartella .git prima di eseguirla e spostandola di nuovo in seguito con maggior successo.
Garie,

1
Noterò anche che questo non esclude i file binari, quindi corromperà i tuoi jpg.
Niek

0

Ecco una soluzione se si utilizza sed:

find . -type f -exec sed -i 's/\r$//' {} \;

-i indica sul posto, se si desidera creare anche un backup, utilizzare -i.bak

's/\r$//' sostituirà tutti i resi di trasporto (\r a capo ) alla fine di ogni riga

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.