UnicodeEncodeError: il codec 'ascii' non può codificare il carattere u '\ xa0' in posizione 20: ordinale non compreso nell'intervallo (128)

Sto riscontrando problemi con i caratteri unicode da testo recuperato da diverse pagine Web (su siti diversi). Sto usando BeautifulSoup.

Il problema è che l'errore non è sempre riproducibile; a volte funziona con alcune pagine e, a volte, fa un salto lanciando a UnicodeEncodeError. Ho provato praticamente tutto quello che mi viene in mente, eppure non ho trovato nulla che funzioni in modo coerente senza generare alcun tipo di errore relativo a Unicode.

Una delle sezioni di codice che causa problemi è mostrata di seguito:

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

Ecco una traccia dello stack prodotta su ALCUNE stringhe quando viene eseguito lo snippet sopra:

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

Sospetto che ciò sia dovuto al fatto che alcune pagine (o più specificamente, pagine di alcuni siti) potrebbero essere codificate, mentre altre potrebbero non essere codificate. Tutti i siti hanno sede nel Regno Unito e forniscono dati destinati al consumo nel Regno Unito, quindi non ci sono problemi relativi all'internalizzazione o alla gestione di testi scritti in inglese.

Qualcuno ha qualche idea su come risolverlo in modo che io possa RISOLVERE SOLAMENTE questo problema?

Devi leggere il Python Unicode HOWTO . Questo errore è il primo esempio .

Fondamentalmente, smetti di usare strper convertire da Unicode a testo / byte codificati.

Invece, usa correttamente .encode()per codificare la stringa:

p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

o funziona interamente in Unicode.

Questo è un classico punto di dolore unicode in pitone! Considera quanto segue:

a = u'bats\u00E0'
print a
 => batsà

Tutto bene finora, ma se chiamiamo str (a), vediamo cosa succede:

str(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

Oh tuffo, non farà bene a nessuno! Per correggere l'errore, codifica esplicitamente i byte con .encode e comunica a python quale codec utilizzare:

a.encode('utf-8')
 => 'bats\xc3\xa0'
print a.encode('utf-8')
 => batsà

Voil \ u00E0!

Il problema è che quando chiami str (), python usa la codifica dei caratteri predefinita per provare a codificare i byte che gli hai dato, che nel tuo caso a volte sono rappresentazioni di caratteri unicode. Per risolvere il problema, devi dire a Python come gestire la stringa che gli dai usando .encode ('whatever_unicode'). Il più delle volte, dovresti stare bene usando utf-8.

Per un'eccellente esposizione su questo argomento, consultare la conferenza PyCon di Ned Batchelder qui: http://nedbatchelder.com/text/unipain.html

Ho trovato un lavoro elegante per me per rimuovere i simboli e continuare a mantenere la stringa come stringa nei seguenti:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

È importante notare che l'uso dell'opzione ignora è pericoloso perché elimina silenziosamente qualsiasi supporto unicode (e internazionalizzazione) dal codice che lo utilizza, come visto qui (converti unicode):

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

bene ho provato di tutto ma non mi è stato d'aiuto, dopo aver cercato su Google ho capito quanto segue e mi ha aiutato. python 2.7 è in uso.

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

Un sottile problema che causa il fallimento della stampa è che le variabili di ambiente siano impostate in modo errato, ad es. qui LC_ALL impostato su "C". In Debian scoraggiano l'impostazione: Debian wiki su Locale

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

Per me, ciò che ha funzionato è stato:

BeautifulSoup(html_text,from_encoding="utf-8")

Spero che questo aiuti qualcuno.

In realtà ho scoperto che nella maggior parte dei miei casi, eliminare i personaggi è molto più semplice:

s = mystring.decode('ascii', 'ignore')

Il problema è che stai provando a stampare un carattere unicode, ma il tuo terminale non lo supporta.

Puoi provare a installare il language-pack-enpacchetto per risolvere il problema:

sudo apt-get install language-pack-en

che fornisce aggiornamenti dei dati di traduzione in inglese per tutti i pacchetti supportati (incluso Python). Installare un pacchetto di lingue diverse se necessario (a seconda dei caratteri che si sta tentando di stampare).

Su alcune distribuzioni Linux è necessario per assicurarsi che le impostazioni locali inglesi predefinite siano configurate correttamente (quindi i caratteri unicode possono essere gestiti da shell / terminale). A volte è più facile installarlo, che configurarlo manualmente.

Quindi, quando si scrive il codice, assicurarsi di utilizzare la codifica corretta nel codice.

Per esempio:

open(foo, encoding='utf-8')

Se il problema persiste, ricontrolla la configurazione del sistema, ad esempio:

• Il tuo file locale ( /etc/default/locale), che dovrebbe avere ad es

  LANG="en_US.UTF-8"
  LC_ALL="en_US.UTF-8"

  o:

  LC_ALL=C.UTF-8
  LANG=C.UTF-8

• Valore di LANG/ LC_CTYPEin shell.

• Controlla le impostazioni locali supportate dalla shell:

  locale -a | grep "UTF-8"

Dimostrazione del problema e della soluzione nella VM nuova.

1. Inizializzazione e provisioning della macchina virtuale (ad es. Utilizzo vagrant):

   vagrant init ubuntu/trusty64; vagrant up; vagrant ssh

   ^{Vedi: scatole Ubuntu disponibili .} .

2. Stampa di caratteri unicode (come un segno di marchio simile ™):

   $ python -c 'print(u"\u2122");'
   Traceback (most recent call last):
     File "<string>", line 1, in <module>
   UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 0: ordinal not in range(128)

3. Ora installando language-pack-en:

   $ sudo apt-get -y install language-pack-en
   The following extra packages will be installed:
     language-pack-en-base
   Generating locales...
     en_GB.UTF-8... /usr/sbin/locale-gen: done
   Generation complete.

4. Ora il problema dovrebbe essere risolto:

   $ python -c 'print(u"\u2122");'
   ™

5. Altrimenti, prova il seguente comando:

   $ LC_ALL=C.UTF-8 python -c 'print(u"\u2122");'
   ™

Nel guscio:

1. Trova le impostazioni internazionali UTF-8 supportate con il comando seguente:

   locale -a | grep "UTF-8"

2. Esportalo prima di eseguire lo script, ad esempio:

   export LC_ALL=$(locale -a | grep UTF-8)

   o manualmente come:

   export LC_ALL=C.UTF-8

3. Provalo stampando un carattere speciale, ad es . ™:

   python -c 'print(u"\u2122");'

Sopra testato su Ubuntu.

Aggiungi la riga in basso all'inizio dello script (o come seconda riga):

# -*- coding: utf-8 -*-

Questa è la definizione della codifica del codice sorgente di Python. Maggiori informazioni in PEP 263 .

Ecco un riassunto di alcune altre cosiddette risposte "poliziotto". Ci sono situazioni in cui semplicemente buttare via i fastidiosi personaggi / stringhe è una buona soluzione, nonostante le proteste espresse qui.

def safeStr(obj):
    try: return str(obj)
    except UnicodeEncodeError:
        return obj.encode('ascii', 'ignore').decode('ascii')
    except: return ""

Testandolo:

if __name__ == '__main__': 
    print safeStr( 1 ) 
    print safeStr( "test" ) 
    print u'98\xb0'
    print safeStr( u'98\xb0' )

risultati:

1
test
98°
98

Suggerimento: potresti voler chiamare questa funzione toAsciiinvece? Questa è una questione di preferenza.

Questo è stato scritto per Python 2. Per Python 3, credo che vorrai usare bytes(obj,"ascii")piuttosto che str(obj). Non l'ho ancora testato, ma ad un certo punto rivedrò la risposta.

Inserisco sempre il codice di seguito nelle prime due righe dei file Python:

# -*- coding: utf-8 -*-
from __future__ import unicode_literals

Semplici funzioni di aiuto trovate qui .

def safe_unicode(obj, *args):
    """ return the unicode representation of obj """
    try:
        return unicode(obj, *args)
    except UnicodeDecodeError:
        # obj is byte string
        ascii_text = str(obj).encode('string_escape')
        return unicode(ascii_text)

def safe_str(obj):
    """ return the byte string representation of obj """
    try:
        return str(obj)
    except UnicodeEncodeError:
        # obj is unicode
        return unicode(obj).encode('unicode_escape')

Aggiungi a una codifica variabile ('utf-8')

agent_contact.encode('utf-8')

Apri il terminale ed esegui il comando seguente:

export LC_ALL="en_US.UTF-8"

Ho appena usato il seguente:

import unicodedata
message = unicodedata.normalize("NFKD", message)

Controlla cosa dice la documentazione al riguardo:

unicodedata.normalize (form, unistr) Restituisce il modulo normale per la stringa Unicode unistr. I valori validi per il modulo sono 'NFC', 'NFKC', 'NFD' e 'NFKD'.

Lo standard Unicode definisce varie forme di normalizzazione di una stringa Unicode, in base alla definizione di equivalenza canonica e di equivalenza di compatibilità. In Unicode, diversi caratteri possono essere espressi in vari modi. Ad esempio, il carattere U + 00C7 (LETTERA MAIALE LATINA C CON CEDILLA) può anche essere espresso come sequenza U + 0043 (LETTERA MAIALE LATINA C) U + 0327 (COMBINAZIONE DI CEDILLA).

Per ogni personaggio esistono due forme normali: la forma normale C e la forma normale D. La forma normale D (NFD) è anche nota come decomposizione canonica e traduce ogni carattere nella sua forma decomposta. La forma normale C (NFC) applica prima una decomposizione canonica, quindi compone nuovamente caratteri pre-combinati.

Oltre a queste due forme, esistono due forme normali aggiuntive basate sull'equivalenza di compatibilità. In Unicode sono supportati alcuni caratteri che normalmente sarebbero unificati con altri caratteri. Ad esempio, U + 2160 (ROMAN NUMERAL ONE) è davvero la stessa cosa di U + 0049 (LATIN CAPITAL LETTER I). Tuttavia, è supportato in Unicode per la compatibilità con set di caratteri esistenti (ad esempio gb2312).

La forma normale KD (NFKD) applicherà la decomposizione di compatibilità, ovvero sostituirà tutti i caratteri di compatibilità con i loro equivalenti. La forma normale KC (NFKC) applica prima la decomposizione di compatibilità, seguita dalla composizione canonica.

Anche se due stringhe unicode sono normalizzate e sembrano uguali a un lettore umano, se una ha la combinazione di caratteri e l'altra no, potrebbero non essere uguali.

Risolve per me. Semplice e facile.

Di seguito la soluzione ha funzionato per me, appena aggiunto

u "String"

(che rappresenta la stringa come unicode) prima della mia stringa.

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

Purtroppo questo funziona in Python 3 almeno ...

Python 3

A volte l'errore si trova nelle variabili di ambiente e la circonda così

import os
import locale
os.environ["PYTHONIOENCODING"] = "utf-8"
myLocale=locale.setlocale(category=locale.LC_ALL, locale="en_GB.UTF-8")
... 
print(myText.encode('utf-8', errors='ignore'))

dove gli errori vengono ignorati nella codifica.

Ho appena avuto questo problema e Google mi ha portato qui, quindi solo per aggiungere alle soluzioni generali qui, questo è ciò che ha funzionato per me:

# 'value' contains the problematic data
unic = u''
unic += value
value = unic

Ho avuto questa idea dopo aver letto la presentazione di Ned .

Tuttavia, non pretendo di comprendere appieno il motivo per cui funziona. Quindi, se qualcuno può modificare questa risposta o inserire un commento per spiegare, lo apprezzerò.

Abbiamo riscontrato questo errore durante l'esecuzione manage.py migrate in Django con dispositivi localizzati.

La nostra fonte conteneva la # -*- coding: utf-8 -*-dichiarazione, MySQL era correttamente configurato per utf8 e Ubuntu aveva il language pack e i valori appropriati/etc/default/locale .

Il problema era semplicemente che il contenitore Django (che usiamo docker) mancava di LANGenv var.

Impostazione LANGper en_US.UTF-8e riavviando il contenitore prima di rieseguire migrazioni risolto il problema.

Molte risposte qui (ad esempio @agf e @Andbdrew) hanno già affrontato gli aspetti più immediati della domanda di PO.

Tuttavia, penso che ci sia un aspetto sottile ma importante che è stato in gran parte ignorato e che conta molto per tutti coloro che come me sono finiti qui mentre cercavano di dare un senso alle codifiche in Python: la gestione della rappresentazione dei personaggi in Python 2 vs Python 3 è selvaggiamente diversa . Sento che una grande confusione là fuori ha a che fare con le persone che leggono delle codifiche in Python senza essere consapevoli della versione.

Suggerisco a chiunque sia interessato a comprendere la causa principale del problema OP, leggendo l' introduzione di Spolsky alle rappresentazioni dei personaggi e Unicode e poi spostandosi su Batchelder su Unicode in Python 2 e Python 3.

Cerca di evitare la conversione di variabile in str (variabile). A volte, potrebbe causare il problema.

Suggerimento semplice da evitare:

try: 
    data=str(data)
except:
    data = data #Don't convert to String

L'esempio sopra risolverà anche l'errore Encode.

Se hai qualcosa del genere, packet_data = "This is data"fallo nella riga successiva, subito dopo l'inizializzazione packet_data:

unic = u''
packet_data = unic

Aggiornamento per Python 3.0 e versioni successive. Prova quanto segue nell'editor python:

locale-gen en_US.UTF-8
export LANG=en_US.UTF-8 LANGUAGE=en_US.en
LC_ALL=en_US.UTF-8

Questo imposta la codifica locale predefinita del sistema sul formato UTF-8.

Altro può essere letto qui su PEP 538 - Unire le impostazioni locali C legacy a impostazioni locali basate su UTF-8 .

Ho avuto questo problema provando a generare caratteri Unicode stdout, ma con sys.stdout.write, piuttosto che con la stampa (in modo da poter supportare anche l'output su un altro file).

Dalla documentazione di BeautifulSoup , ho risolto questo problema con la libreria di codec:

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

Questo problema si verifica spesso quando un progetto django viene distribuito utilizzando Apache. Perché Apache imposta la variabile di ambiente LANG = C in / etc / sysconfig / httpd. Basta aprire il file e commentare (o cambiare il tuo sapore) questa impostazione. Oppure usa l'opzione lang del comando WSGIDaemonProcess, in questo caso sarai in grado di impostare diverse variabili d'ambiente LANG su host virtuali diversi.

La soluzione raccomandata non ha funzionato per me, e potrei vivere scaricando tutti i caratteri non ascii, quindi

s = s.encode('ascii',errors='ignore')

che mi ha lasciato con qualcosa di spogliato che non genera errori.

Questo funzionerà:

 >>>print(unicodedata.normalize('NFD', re.sub("[\(\[].*?[\)\]]", "", "bats\xc3\xa0")).encode('ascii', 'ignore'))

Produzione:

>>>bats