_csv.Error: campo più grande del limite di campo (131072)

Ho uno script che legge in un file CSV con campi molto grandi:

# example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples
import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

Tuttavia, ciò genera il seguente errore su alcuni file CSV:

_csv.Error: field larger than field limit (131072)

Come posso analizzare i file CSV con campi enormi? Saltare le linee con enormi campi non è un'opzione in quanto i dati devono essere analizzati nelle fasi successive.

Il file CSV potrebbe contenere campi molto grandi, quindi aumentare il field_size_limit:

import sys
import csv

csv.field_size_limit(sys.maxsize)

sys.maxsizefunziona per Python 2.xe 3.x. sys.maxintfunzionerebbe solo con Python 2.x ( SO: what-is-sys-maxint-in-python-3 )

Aggiornare

Come Geoff ha sottolineato, il codice di cui sopra potrebbe comportare l'errore seguente: OverflowError: Python int too large to convert to C long. Per aggirare questo, è possibile utilizzare il seguente codice rapido e sporco (che dovrebbe funzionare su tutti i sistemi con Python 2 e Python 3):

import sys
import csv
maxInt = sys.maxsize

while True:
    # decrease the maxInt value by factor 10 
    # as long as the OverflowError occurs.

    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

Ciò potrebbe essere dovuto al fatto che il file CSV ha virgolette singole o doppie incorporate. Se il tuo file CSV è delimitato da tabulazioni, prova ad aprirlo come:

c = csv.reader(f, delimiter='\t', quoting=csv.QUOTE_NONE)

Di seguito è verificare il limite corrente

csv.field_size_limit()

Out [20]: 131072

Di seguito è aumentare il limite. Aggiungilo al codice

csv.field_size_limit(100000000)

Prova a controllare di nuovo il limite

csv.field_size_limit()

Out [22]: 100000000

Ora non verrà visualizzato l'errore "_csv.Error: campo più grande del limite del campo (131072)"

Le dimensioni dei campi CSV sono controllate tramite [Python 3.Docs]: CSV. field_size_limit ( [new_limit] ) :

Restituisce la dimensione massima del campo corrente consentita dal parser. Se viene dato new_limit , questo diventa il nuovo limite.

L'impostazione predefinita è 128k o 0x20000 ( 131072 ), che dovrebbe essere sufficiente per qualsiasi .csv decente :

>>> import csv
>>>
>>> limit0 = csv.field_size_limit()
>>> limit0
131072
>>> "0x{0:016X}".format(limit0)
'0x0000000000020000'

Tuttavia, quando si ha a che fare con un file .csv ( con virgolette e delimitatori corretti ) con (almeno) un campo più lungo di questa dimensione, viene visualizzato l'errore.
Per eliminare l'errore, è necessario aumentare il limite di dimensioni (per evitare qualsiasi preoccupazione, si tenta il valore massimo possibile).

Dietro le quinte (selezionare [GitHub]: python / cpython - (master) cpython / Modules / _csv.c per i dettagli di implementazione), la variabile che contiene questo valore è una C lunga ( [Wikipedia]: tipi di dati C ), le cui dimensioni varia a seconda dell'architettura della CPU e del sistema operativo ( I L P ). La differenza classica: per un sistema operativo a 64 bit ( build Python ), la dimensione del tipo lungo ( in bit ) è:

• Nix : 64
• Vinci : 32

Quando si tenta di impostarlo, viene verificato che il nuovo valore sia lungo i limiti, ecco perché in alcuni casi viene visualizzata un'altra eccezione (questo caso è comune su Win ):

>>> import sys
>>>
>>> sys.platform, sys.maxsize
('win32', 9223372036854775807)
>>>
>>> csv.field_size_limit(sys.maxsize)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OverflowError: Python int too large to convert to C long

Per evitare di incorrere in questo problema, impostare il limite (massimo possibile) ( LONG_MAX ) usando un artificio (grazie a [Python 3.Docs]: ctypes - Una libreria di funzioni esterne per Python ). Dovrebbe funzionare su Python 3 e Python 2 , su qualsiasi CPU / sistema operativo .

>>> import ctypes as ct
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
2147483647
>>> "0x{0:016X}".format(limit1)
'0x000000007FFFFFFF'

64 bit Python su un sistema operativo Nix come :

>>> import sys, csv, ctypes as ct
>>>
>>> sys.platform, sys.maxsize
('linux', 9223372036854775807)
>>>
>>> csv.field_size_limit()
131072
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
9223372036854775807
>>> "0x{0:016X}".format(limit1)
'0x7FFFFFFFFFFFFFFF'

Per Python a 32 bit , le cose sono uniformi: è il comportamento riscontrato su Win .

Controlla le seguenti risorse per maggiori dettagli su:

• Giocare con i limiti dei tipi C da Python : [SO]: valore massimo e minimo di numeri interi di tipo C da Python (risposta di @ CristiFati)
• Differenze Python a 32 bit contro 64 bit : [SO]: Come posso determinare se la mia shell Python sta eseguendo in modalità 32 bit o 64 bit su OS X? (La risposta di @ CristiFati)

Mi è appena successo questo in un file CSV "semplice". Alcune persone potrebbero chiamarlo un file formattato non valido. Nessun carattere di escape, nessuna doppia virgoletta e delimitatore era un punto e virgola.

Una riga di esempio da questo file sarebbe simile a questa:

Prima cella; Seconda "Cella con una doppia citazione e spazio iniziale; cella" Parzialmente quotata "; Ultima cella

la singola citazione nella seconda cella avrebbe gettato il parser dalle sue guide. Ciò che ha funzionato è stato:

csv.reader(inputfile, delimiter=';', doublequote='False', quotechar='', quoting=csv.QUOTE_NONE)

A volte, una riga contiene una colonna con virgolette doppie. Quando il lettore CSV prova a leggere questa riga, non capisce la fine della colonna e lancia questo rilancio. La soluzione è di seguito:

reader = csv.reader(cf, quoting=csv.QUOTE_MINIMAL)

Puoi usare read_csvda pandasper saltare queste righe.

import pandas as pd

data_df = pd.read_csv('data.csv', error_bad_lines=False)

Trova il file cqlshrc solitamente posizionato nella directory .cassandra.

In quel file append,

[csv]
field_size_limit = 1000000000