Come posso rimuovere caratteri non ASCII ma lasciare punti e spazi usando Python?

Sto lavorando con un file .txt. Voglio una stringa di testo dal file senza caratteri non ASCII. Tuttavia, voglio lasciare spazi e periodi. Al momento sto spogliando anche quelli. Ecco il codice:

def onlyascii(char):
    if ord(char) < 48 or ord(char) > 127: return ''
    else: return char

def get_my_string(file_path):
    f=open(file_path,'r')
    data=f.read()
    f.close()
    filtered_data=filter(onlyascii, data)
    filtered_data = filtered_data.lower()
    return filtered_data

Come devo modificare onlyascii () per lasciare spazi e punti? Immagino non sia troppo complicato ma non riesco a capirlo.

Puoi filtrare tutti i caratteri dalla stringa che non sono stampabili utilizzando string.printable , in questo modo:

>>> s = "some\x00string. with\x15 funny characters"
>>> import string
>>> printable = set(string.printable)
>>> filter(lambda x: x in printable, s)
'somestring. with funny characters'

string.printable sulla mia macchina contiene:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~ \t\n\r\x0b\x0c

EDIT: su Python 3, il filtro restituirà un iterabile. Il modo corretto per ottenere una stringa indietro sarebbe:

''.join(filter(lambda x: x in printable, s))

Un modo semplice per passare a un codec diverso è usare encode () o decode (). Nel tuo caso, vuoi convertire in ASCII e ignorare tutti i simboli che non sono supportati. Ad esempio, la lettera svedese å non è un carattere ASCII:

    >>>s = u'Good bye in Swedish is Hej d\xe5'
    >>>s = s.encode('ascii',errors='ignore')
    >>>print s
    Good bye in Swedish is Hej d

Modificare:

Python3: str -> byte -> str

>>>"Hej då".encode("ascii", errors="ignore").decode()
'hej d'

Python2: unicode -> str -> unicode

>>> u"hej då".encode("ascii", errors="ignore").decode()
u'hej d'

Python2: str -> unicode -> str (decodifica e codifica in ordine inverso)

>>> "hej d\xe5".decode("ascii", errors="ignore").encode()
'hej d'

Secondo @artfulrobot, questo dovrebbe essere più veloce di filter e lambda:

re.sub(r'[^\x00-\x7f]',r'', your-non-ascii-string) 

Vedi altri esempi qui http://stackoverflow.com/questions/20078816/replace-non-ascii-characters-with-a-single-space/20079244#20079244

La tua domanda è ambigua; le prime due frasi prese insieme implicano che si crede che lo spazio e il "punto" non siano caratteri ASCII. Questo non è corretto. Tutti i caratteri tali che ord (char) <= 127 siano caratteri ASCII. Ad esempio, la tua funzione esclude questi caratteri! "# $% & \ '() * +, -. / Ma include molti altri, ad esempio [] {}.

Per favore, fai un passo indietro, pensa un po 'e modifica la tua domanda per dirci cosa stai cercando di fare, senza menzionare la parola ASCII, e perché pensi che i caratteri tali che ord (char)> = 128 siano ignorabili. Inoltre: quale versione di Python? Qual è la codifica dei dati di input?

Nota che il tuo codice legge l'intero file di input come una singola stringa e il tuo commento ("ottima soluzione") a un'altra risposta implica che non ti interessano le nuove righe nei tuoi dati. Se il tuo file contiene due righe come questa:

this is line 1
this is line 2

il risultato sarebbe 'this is line 1this is line 2'... è quello che vuoi veramente?

Una soluzione più ampia includerebbe:

1. un nome migliore per la funzione di filtro rispetto a onlyascii

2. riconoscimento che una funzione di filtro deve semplicemente restituire un valore vero se l'argomento deve essere mantenuto:

   def filter_func(char):
       return char == '\n' or 32 <= ord(char) <= 126
   # and later:
   filtered_data = filter(filter_func, data).lower()

È possibile utilizzare il codice seguente per rimuovere le lettere non inglesi:

import re
str = "123456790 ABC#%? .(朱惠英)"
result = re.sub(r'[^\x00-\x7f]',r'', str)
print(result)

Questo tornerà

123456790 ABC #%? . ()

Se vuoi caratteri ASCII stampabili, probabilmente dovresti correggere il tuo codice in:

if ord(char) < 32 or ord(char) > 126: return ''

questo è equivalente, a string.printable(risposta da @jterrace), tranne per l'assenza di ritorni e tabulazioni ('\ t', '\ n', '\ x0b', '\ x0c' e '\ r') ma non corrisponde a l'intervallo sulla tua domanda

Mi faccio strada attraverso Fluent Python (Ramalho) - altamente raccomandato. Elenca la comprensione di battute univoche ispirate al Capitolo 2:

onlyascii = ''.join([s for s in data if ord(s) < 127])
onlymatch = ''.join([s for s in data if s in
              'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'])