Python: rimozione di \ xa0 dalla stringa?

Attualmente sto usando Beautiful Soup per analizzare un file HTML e chiamare get_text(), ma sembra che mi venga lasciato un sacco di \ xa0 Unicode che rappresentano gli spazi. Esiste un modo efficace per rimuoverli tutti in Python 2.7 e trasformarli in spazi? Immagino che la domanda più generalizzata sarebbe: esiste un modo per rimuovere la formattazione Unicode?

Ho provato a usare line = line.replace(u'\xa0',' '):, come suggerito da un altro thread, ma questo ha cambiato gli \ xa0 in u, quindi ora ho "u" ovunque. ):

EDIT: Il problema sembra essere risolto str.replace(u'\xa0', ' ').encode('utf-8'), ma solo facendo .encode('utf-8')senza replace()sembra causare a sputare personaggi anche più strane, \ xc2 per esempio. Qualcuno può spiegare questo?

\ xa0 è in realtà spazio non-break in Latin1 (ISO 8859-1), anche chr (160). Dovresti sostituirlo con uno spazio.

string = string.replace(u'\xa0', u' ')

Quando .encode ('utf-8'), codificherà l'unicode in utf-8, ciò significa che ogni unicode potrebbe essere rappresentato da 1 a 4 byte. In questo caso, \ xa0 è rappresentato da 2 byte \ xc2 \ xa0.

Leggi su http://docs.python.org/howto/unicode.html .

Nota: questa risposta a partire dal 2012, Python è andata avanti, dovresti essere in grado di utilizzare unicodedata.normalizeora

Ci sono molte cose utili nella unicodedatalibreria di Python . Uno di questi è la .normalize()funzione.

Provare:

new_str = unicodedata.normalize("NFKD", unicode_str)

Sostituendo NFKD con uno qualsiasi degli altri metodi elencati nel link sopra se non si ottengono i risultati desiderati.

Prova a usare .strip () alla fine della tua riga ha line.strip()funzionato bene per me

Dopo aver provato diversi metodi, per riassumere, ecco come l'ho fatto. Di seguito sono riportati due modi per evitare / rimuovere i caratteri \ xa0 dalla stringa HTML analizzata.

Supponiamo di avere il nostro codice HTML come segue:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Quindi proviamo a pulire questa stringa HTML:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Il codice sopra produce questi caratteri \ xa0 nella stringa. Per rimuoverli correttamente, possiamo usare due modi.

Metodo n. 1 (consigliato): il primo è il metodo get_text di BeautifulSoup con argomento strip come True Quindi il nostro codice diventa:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Metodo n. 2: l'altra opzione è usare la libreria unicodedata di python

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

Ho anche dettagliato questi metodi su questo blog che potresti voler fare riferimento.

prova questo:

string.replace('\\xa0', ' ')

Ho riscontrato questo stesso problema estraendo alcuni dati da un database sqlite3 con Python. Le risposte sopra non hanno funzionato per me (non so perché), ma questo ha fatto:line = line.decode('ascii', 'ignore') Tuttavia, il mio obiettivo era eliminare gli \ xa0s, anziché sostituirli con spazi.

L'ho preso da questo tutorial unicode super utile di Ned Batchelder.

Finisco qui mentre cerco il problema con un carattere non stampabile. Uso MySQL UTF-8 general_cie mi occupo del linguaggio polacco. Per le stringhe problematiche devo procedere come segue:

text=text.replace('\xc2\xa0', ' ')

È solo una soluzione rapida e probabilmente dovresti provare qualcosa con la corretta configurazione della codifica.

Prova questo codice

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) è 0xC2A0 in UTF-8. .encode('utf8')prenderà semplicemente il tuo Unicode 0xA0 e lo sostituirà con 0xC2A0 di UTF-8. Da qui l'apparizione di 0xC2s ... La codifica non sta sostituendo, come probabilmente hai capito ora.

È l'equivalente di un personaggio spaziale, quindi eliminalo

print(string.strip()) # no more xa0

In Beautiful Soup, puoi passare get_text()il parametro strip, che rimuove gli spazi bianchi dall'inizio e dalla fine del testo. Questo rimuoverà \xa0o qualsiasi altro spazio bianco se si verifica all'inizio o alla fine della stringa. Beautiful Soup ha sostituito una stringa vuota con \xa0e questo ha risolto il problema per me.

mytext = soup.get_text(strip=True)

Versione generica con l'espressione regolare (rimuoverà tutti i caratteri di controllo):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python lo riconosce come un personaggio spaziale, quindi puoi splitfarlo senza argomenti e unirti a un normale spazio bianco:

line = ' '.join(line.split())