"La riga contiene byte NULL" nel lettore CSV (Python)

Sto cercando di scrivere un programma che guardi un file .CSV (input.csv) e riscrive solo le righe che iniziano con un determinato elemento (corrected.csv), come elencato in un file di testo (output.txt).

Questo è l'aspetto del mio programma in questo momento:

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Sfortunatamente, continuo a ricevere questo errore e non ho idea di cosa si tratti.

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

Ringrazio tutte le persone qui anche per avermi portato a questo punto.

Ho risolto un problema simile con una soluzione più semplice:

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

La chiave era usare il modulo codecs per aprire il file con la codifica UTF-16, ci sono molte più codifiche, controlla la documentazione .

Immagino che tu abbia un byte NUL in input.csv. Puoi testarlo con

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

se fate,

reader = csv.reader(x.replace('\0', '') for x in mycsv)

potrebbe farti aggirare. Oppure potrebbe indicare che hai utf16 o qualcosa di "interessante" nel file .csv.

Se vuoi sostituire i valori nulli con qualcosa, puoi farlo:

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

Potresti semplicemente incorporare un generatore per filtrare i valori nulli se vuoi fingere che non esistano. Ovviamente questo presuppone che i byte nulli non facciano realmente parte della codifica e siano davvero una sorta di artefatto o bug errato.

Vedi (line.replace('\0','') for line in f)sotto, probabilmente vorrai anche aprire quel file usando la modalità rb.

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Questo ti dirà quale linea è il problema.

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

Forse questo da daniweb sarebbe utile:

Ricevo questo errore durante la lettura da un file CSV: "Errore di runtime! La riga contiene byte NULL". Qualche idea sulla causa principale di questo errore?

...

Ok, ho capito e ho pensato di pubblicare la soluzione. Semplicemente ancora mi ha causato dolore ... Il file usato è stato salvato in un formato .xls invece di .csv Non ho capito perché il nome del file stesso aveva l'estensione .csv mentre il tipo era ancora .xls

Un modo complicato:

Se sviluppi con Lunux, puoi utilizzare tutta la potenza di sed :

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)    

La soluzione più efficiente per file di grandi dimensioni.

Controllato per Python3, Kubuntu

Di recente ho risolto questo problema e nel mio caso si trattava di un file compresso che stavo cercando di leggere. Controlla prima il formato del file. Quindi controlla che i contenuti siano ciò a cui si riferisce l'estensione.

Trasformare il mio ambiente Linux in un ambiente UTF-8 completo e pulito ha reso il trucco per me. Prova quanto segue nella riga di comando:

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

Questo è risolto da tempo, ma mi sono imbattuto in questa risposta perché ho riscontrato un errore imprevisto durante la lettura di un CSV da elaborare come dati di addestramento in Keras e TensorFlow.

Nel mio caso, la questione era molto più semplice e vale la pena esserne consapevoli. I dati prodotti nel CSV non erano coerenti, risultando in alcune colonne completamente mancanti, il che sembra finire per generare anche questo errore.

La lezione: se visualizzi questo errore, verifica che i tuoi dati abbiano l'aspetto che pensi!

È molto semplice.

non creare un file CSV "crea un nuovo Excel" o salvarlo come ".csv" dalla finestra.

importa semplicemente il modulo csv, scrivi un file csv fittizio e poi incolla i tuoi dati in quello.

csv creato dal modulo python csv stesso non mostrerà più la codifica o l'errore di riga vuota.

pandas.read_csv ora gestisce la diversa codifica UTF durante la lettura / scrittura e quindi può gestire direttamente i byte nulli

data = pd.read_csv(file, encoding='utf-16')

vedere https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html