UnicodeDecodeError: il codec 'utf8' non può decodificare il byte 0x9c

Ho un server socket che dovrebbe ricevere caratteri validi UTF-8 dai client.

Il problema è che alcuni client (principalmente hacker) stanno inviando su di esso tutti i tipi di dati sbagliati.

Sono in grado di distinguere facilmente il client originale, ma sto registrando su file tutti i dati inviati in modo da poterlo analizzare in seguito.

A volte ricevo personaggi come questo œche causano l' UnicodeDecodeErrorerrore.

Devo essere in grado di creare la stringa UTF-8 con o senza quei caratteri.

Aggiornare:

Per il mio caso particolare il servizio socket era un MTA e quindi mi aspetto di ricevere solo comandi ASCII come:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Stavo registrando tutto questo in JSON.

Quindi alcune persone là fuori senza buone intenzioni hanno deciso di vendere tutti i tipi di spazzatura.

Ecco perché per il mio caso specifico è perfettamente OK rimuovere i caratteri non ASCII.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

o

str = unicode(str, errors='ignore')

Nota: questo eliminerà (ignorerà) i caratteri in questione restituendo la stringa senza di essi.

Per me questo è il caso ideale poiché lo sto usando come protezione contro input non ASCII che non è consentito dalla mia applicazione.

In alternativa: utilizzare il metodo open dal codecsmodulo per leggere nel file:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Cambiare il motore da C a Python ha fatto il trucco per me.

Il motore è C:

pd.read_csv(gdp_path, sep='\t', engine='c')

Il codec 'utf-8' non può decodificare il byte 0x92 in posizione 18: byte iniziale non valido

Engine is Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Nessun errore per me.

Questo tipo di problema si risolve per me ora che sono passato a Python 3. Non avevo idea che Python 2 stesse semplicemente rovinando qualsiasi problema con la codifica dei file.

Ho trovato questa bella spiegazione delle differenze e di come trovare una soluzione dopo che nessuna delle precedenti ha funzionato per me.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

In breve, per far sì che Python 3 si comporti nel modo più simile possibile a Python 2, utilizzare:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Tuttavia, leggi l'articolo, non esiste una taglia adatta a tutte le soluzioni.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

Ho avuto lo stesso problema con UnicodeDecodeErrore l'ho risolto con questa linea. Non so se è il modo migliore ma ha funzionato per me.

str = str.decode('unicode_escape').encode('utf-8')

il primo, utilizzando get_encoding_type per ottenere il tipo di file di codifica:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

il secondo, aprendo i file con il tipo:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Nel caso in cui qualcuno abbia lo stesso problema. Sto usando vim con YouCompleteMe , non sono riuscito ad avviare ycmd con questo messaggio di errore, quello che ho fatto è: export LC_CTYPE="en_US.UTF-8"il problema è sparito.

Cosa puoi fare se devi apportare una modifica a un file, ma non conosci la codifica del file? Se sai che la codifica è compatibile ASCII e desideri solo esaminare o modificare le parti ASCII, puoi aprire il file con il gestore degli errori surrogateescape:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Ho risolto questo problema semplicemente aggiungendo

df = pd.read_csv(fileName,encoding='latin1')