Come rimuovere i caratteri non validi dai nomi dei file?

Ho file con caratteri non validi come questi

009_-_�%86ndringshåndtering.html

È un punto in Æcui qualcosa è andato storto nel nome del file.

C'è un modo per rimuovere solo tutti i caratteri non validi?

o potrebbe tressere usato in qualche modo?

echo "009_-_�%86ndringshåndtering.html" | tr ???

Un modo sarebbe con sed:

mv 'file' $(echo 'file' | sed -e 's/[^A-Za-z0-9._-]/_/g')

Sostituisci filecon il tuo nome file, ovviamente. Questo sostituirà tutto ciò che non è una lettera, un numero, un punto, un trattino basso o un trattino con un trattino basso. Puoi aggiungere o rimuovere caratteri per mantenerli come preferisci e / o cambiare il carattere sostitutivo in qualsiasi altra cosa o in nessun altro.

Presumo che tu sia su Linux box e che i file siano stati creati su Windows box. Linux usa UTF-8 come codifica dei caratteri per i nomi dei file, mentre Windows usa qualcos'altro. Penso che questa sia la causa del problema.

Vorrei usare "convmv". Questo è uno strumento che può convertire i nomi di file da una codifica di caratteri a un'altra. Per l'Europa occidentale uno di questi funziona normalmente:

convmv -r -f windows-1252 -t UTF-8 .
convmv -r -f ISO-8859-1 -t UTF-8 .
convmv -r -f cp-850 -t UTF-8 .

Se è necessario installarlo su un Linux basato su Debian, è possibile farlo eseguendo:

sudo apt-get install convmv

Funziona sempre per me e recupera il nome file originale.

Fonte: LeaseWebLabs

Suppongo che vuoi dire che vuoi attraversare il filesystem e sistemare tutti questi file?

Ecco come lo farei

find /path/to/files -type f -print0 | \
perl -n0e '$new = $_; if($new =~ s/[^[:ascii:]]/_/g) {
  print("Renaming $_ to $new\n"); rename($_, $new);
}'

Ciò troverebbe tutti i file con caratteri non ASCII e sostituirà quei caratteri con caratteri di sottolineatura ( _). Fai attenzione, tuttavia, se esiste già un file con il nuovo nome, lo sovrascriverà. Lo script può essere modificato per verificare un caso del genere, ma non l'ho inserito per renderlo semplice.

Seguendo le risposte a https://stackoverflow.com/questions/2124010/grep-regex-to-match-non-ascii-characters , è possibile utilizzare:

rename 's/[^\x00-\x7F]//g' *

dove *corrisponde ai file che si desidera rinominare. Se vuoi farlo su più directory, puoi fare qualcosa del tipo:

find . -exec rename 's/[^\x00-\x7F]//g' "{}" \;

Puoi usare l'argomento -n renameper fare una corsa a secco e vedere cosa sarebbe cambiato, senza cambiarlo.

Ho avuto alcuni file giapponesi con nomi di file rotti recuperati da una chiavetta USB rotta e le soluzioni sopra non hanno funzionato per me.

Raccomando il pacchetto di disintossicazione:

L'utility detox rinomina i file per facilitarne il funzionamento. Rimuove gli spazi e altri fastidi simili. Tradurrà o pulirà anche i caratteri Latin-1 (ISO 8859-1) codificati in ASCII a 8 bit, i caratteri Unicode codificati in UTF-8 e i caratteri di escape CGI.

Esempio di utilizzo:

detox -r -v /path/to/your/files

-r Richiama nelle sottodirectory
-v Essere dettagliati su quali file vengono rinominati 
-n Può essere utilizzato per una corsa a secco (mostra solo cosa sarebbe cambiato)

Questo script di shell disinfetta ricorsivamente una directory, per rendere i file portatili tra Linux / Windows e FAT / NTFS / exFAT. Rimuove i caratteri di controllo /:*?"<>\|e alcuni nomi di Windows riservati come COM0.

sanitize() {
  shopt -s extglob;

  filename=$(basename "$1")
  directory=$(dirname "$1")

  filename_clean=$(echo "$filename" | sed -e 's/[\\/:\*\?"<>\|\x01-\x1F\x7F]//g' -e 's/^\(nul\|prn\|con\|lpt[0-9]\|com[0-9]\|aux\)\(\.\|$\)//i' -e 's/^\.*$//' -e 's/^$/NONAME/')

  if (test "$filename" != "$filename_clean")
  then
    mv -v "$1" "$directory/$filename_clean"
  fi
}

export -f sanitize

sanitize_dir() {
  find "$1" -depth -exec bash -c 'sanitize "$0"' {} \;
}

sanitize_dir '/path/to/somewhere'

Linux è meno restrittivo in teoria ( /e \0sono severamente vietati nei nomi dei file) ma in pratica diversi personaggi interferiscono con i comandi bash (come *...), quindi dovrebbero essere evitati anche nei nomi dei file.

Grandi fonti per le restrizioni sulla denominazione dei file:

• MSDN: denominazione dei file
• Wikipedia: confronto delle limitazioni del nome file

Se vuoi gestire newline incorporate, caratteri multibyte, spazi, trattini iniziali, barre rovesciate e spazi hai bisogno di qualcosa di più robusto, vedi questa risposta:
https://superuser.com/a/858671/365691

Ho messo lo script su code.google.com se qualcuno è interessato: rnf-bash-rename-script

Uso questo one-liner per rimuovere i caratteri non validi nei file dei sottotitoli:

for f in *.srt; do nf=$(echo "$f" |sed -e 's/[^A-Za-z0-9.-]/./g;s/\.\.\././g;s/\.\././g'); test "$f" != "$nf" && mv "$f" "$nf" && echo "$nf"; done

1. Elabora solo i file * .srt (* può essere utilizzato al posto di * .srt per elaborare ogni file)
2. Rimuove tutti gli altri caratteri tranne le lettere A-Za-z, i numeri 0-9, i punti "." E il trattino "-"
3. Rimuove possibili periodi doppi o tripli
4. Verifica se il nome del file deve essere modificato
5. Se vero, rinomina il file con il comando mv, quindi genera le modifiche apportate con il comando echo

Funziona per normalizzare i nomi delle directory dei film:

for f in */; do nf=$(echo "$f" |sed -e 's/[^A-Za-z0-9.]/./g' -e 's/\.\.\././g' -e 's/\.\././g' -e 's/\.*$//'); test "$f" != "$nf" && mv "$f" "$nf" && echo "$nf"; done

Stessi passaggi precedenti ma ho aggiunto un altro comando sed per rimuovere un punto alla fine della directory

X-Men Days of Future Past (2014) [1080p]
Modificato in:
X-Men.Days.of.Future.Past.2014.1080p

per file in *; do mv "$ file" $ (echo "$ file" | sed -e 's / [^ A-Za-z0-9. -] / / g'); fatto &