rinominare in blocco (o visualizzare correttamente) file con caratteri speciali

Ho un sacco di directory e sottodirectory che contengono file con caratteri speciali, come questo file:

robbie@phil:~$ ls test�sktest.txt 
test?sktest.txt

Trova rivela una sequenza di escape:

robbie@phil:~$ find test�sktest.txt -ls 
424512 4000 -rwxr--r-x   1 robbie   robbie    4091743 Jan 26 00:34 test\323sktest.txt

L'unico motivo per cui posso persino digitare i loro nomi sulla console è a causa del completamento della scheda. Questo significa anche che posso rinominarli manualmente (e rimuovere il carattere speciale).

Ho impostato LC_ALL su UTF-8, che non sembra aiutare (anche non su una nuova shell):

robbie@phil:~$ echo $LC_ALL
en_US.UTF-8

Mi sto collegando alla macchina usando ssh dal mio mac. È un'installazione Ubuntu:

robbie@phil:~$ cat /etc/lsb-release 
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=7.10
DISTRIB_CODENAME=gutsy
DISTRIB_DESCRIPTION="Ubuntu 7.10"

Shell è Bash, TERM è impostato su xterm-color.

Questi file sono lì da un po 'di tempo e non sono stati creati usando quell'installazione di Ubuntu. Quindi non so quali fossero le impostazioni di codifica del sistema.

Ho provato le cose sulla falsariga di:

find . -type f -ls | sed 's/[^a-zA-Z0-9]//g'

Ma non riesco a trovare una soluzione che fa tutto ciò che voglio:

1. Identifica tutti i file con caratteri non visualizzabili (quanto sopra ignora troppo)
2. Per tutti quei file in un albero di directory (ricorsivamente), esegui mv oldname newname
3. Opzionalmente, la possibilità di traslitterare caratteri speciali come ä in un (non richiesto, ma sarebbe fantastico)

O

1. Visualizza correttamente tutti questi file (e nessun errore nelle applicazioni quando si tenta di aprirli)

Ho bit e pezzi, come iterare su tutti i file e spostarli, ma identificare i file e formattarli correttamente per il comando mv sembra essere la parte difficile.

Sono inoltre benvenute eventuali informazioni aggiuntive sul motivo per cui non vengono visualizzate correttamente o su come "indovinare" la codifica corretta. (Ho provato convmv ma non sembra fare esattamente quello che voglio: http://j3e.de/linux/convmv/ )

Immagino tu veda questo �carattere non valido perché il nome contiene una sequenza di byte che non è valida UTF-8. I nomi dei file sui filesystem unix tipici (incluso il tuo) sono stringhe di byte, e spetta alle applicazioni decidere quale codifica utilizzare. Al giorno d'oggi, c'è una tendenza a usare UTF-8, ma non è universale, specialmente in locali che non potrebbero mai vivere con ASCII normale e hanno usato altre codifiche da prima ancora che UTF-8 esistesse.

Prova LC_CTYPE=en_US.iso88591 lsa vedere se il nome del file ha senso in ISO-8859-1 (latino-1). In caso contrario, prova altre impostazioni locali. Nota che LC_CTYPEqui sono importanti solo le impostazioni locali.

In una locale UTF-8, il seguente comando mostrerà tutti i file il cui nome non è valido UTF-8:

grep-invalid-utf8 () {
  perl -l -ne '/^([\000-\177]|[\300-\337][\200-\277]|[\340-\357][\200-\277]{2}|[\360-\367][\200-\277]{3}|[\370-\373][\200-\277]{4}|[\374-\375][\200-\277]{5})*$/ or print'
}
find | grep-invalid-utf8

Puoi verificare se hanno più senso in un'altra locale con ricodifica o iconv :

find | grep-invalid-utf8 | recode latin1..utf8
find | grep-invalid-utf8 | iconv -f latin1 -t utf8

Dopo aver determinato che un gruppo di nomi di file ha una determinata codifica (ad esempio latin1), un modo per rinominarli è

find | grep-invalid-utf8 |
rename 'BEGIN {binmode STDIN, ":encoding(latin1)"; use Encode;}
        $_=encode("utf8", $_)'

Questo usa il comando perl rename disponibile su Debian e Ubuntu. Puoi passarlo -nper mostrare cosa farebbe senza rinominare i file.

So che questa è una vecchia domanda, ma ho cercato per tutta la notte una soluzione simile. Ho trovato alcuni suggerimenti utili ma non hanno fatto esattamente quello di cui avevo bisogno, quindi ho dovuto mescolarne alcuni per ottenere il risultato corretto che stavo cercando

per rimuovere semplicemente caratteri speciali e sostituirli con un punto (.)

for f in *.txt; do mv "$f" `echo $f | sed "s/[^a-zA-Z0-9.]/./g"`; done

per usare in un cronjob ho fatto quanto segue per eseguire ogni minuto

*/1 * * * * cd /path/to/files/ && for f in *.txt; do mv "$f" `echo $f | sed "s/[^a-zA-Z0-9.]/./g"`; done >/dev/null 2>&1

Spero che qualcuno lo trovi utile perché ha reso la mia giornata :)

Ora, quando sai quale codifica viene utilizzata per i nomi dei file sull'estremità remota ("latin1" - in base ai commenti alla prima risposta), puoi anche seguire il secondo modo - eseguire un termine locale e ssh in tale modo in cui i nomi dei file remoti vengono visualizzati correttamente (piuttosto che nel primo modo: rinominarli) .

Come me , potresti avviare un terminale localmente che funzionerebbe con quella codifica speciale, forse in questo modo:

LC_ALL = en_US.latin1 xvt &

xvt sta per il tuo programma terminale.

Forse, la localizzazione esistente viene chiamata en_US.iso88591e non en_US.latin1, come pensavo.

Questo non soddisfa i requisiti di massa, ma ho appena avuto un problema simile in cui avevo più versioni di un file con nomi simili che differivano solo per un singolo carattere strano. Sfortunatamente questo significava che non potevo rinominare i trasgressori usando il trucco jolly che di solito uso.

Alla fine ho usato Filezilla per connettermi come client SFTP, ho cercato i file e li ho rinominati usando la GUI. Filezilla ha gestito abbastanza bene i personaggi malvagi.