Come ignorare la prima riga di dati durante l'elaborazione dei dati CSV?

Chiedo a Python di stampare il numero minimo da una colonna di dati CSV, ma la riga superiore è il numero di colonna e non voglio che Python tenga conto della riga superiore. Come posso assicurarmi che Python ignori la prima riga?

Questo è il codice finora:

import csv

with open('all16.csv', 'rb') as inf:
    incsv = csv.reader(inf)
    column = 1                
    datatype = float          
    data = (datatype(column) for row in incsv)   
    least_value = min(data)

print least_value

Potresti anche spiegare cosa stai facendo, non solo fornire il codice? Sono molto nuovo in Python e vorrei assicurarmi di aver capito tutto.

È possibile utilizzare un'istanza della classe csvdel modulo Snifferper dedurre il formato di un file CSV e rilevare se una riga di intestazione è presente insieme alla next()funzione integrata per saltare la prima riga solo quando necessario:

import csv

with open('all16.csv', 'r', newline='') as file:
    has_header = csv.Sniffer().has_header(file.read(1024))
    file.seek(0)  # Rewind.
    reader = csv.reader(file)
    if has_header:
        next(reader)  # Skip header row.
    column = 1
    datatype = float
    data = (datatype(row[column]) for row in reader)
    least_value = min(data)

print(least_value)

Poiché datatypee columnsono codificati nel tuo esempio, sarebbe leggermente più veloce elaborare in rowquesto modo:

    data = (float(row[1]) for row in reader)

Nota: il codice sopra è per Python 3.x. Per Python 2.x usa la seguente riga per aprire il file invece di quanto mostrato:

with open('all16.csv', 'rb') as file:

Per saltare la prima riga basta chiamare:

next(inf)

I file in Python sono iteratori su righe.

In un caso d'uso simile ho dovuto saltare le righe fastidiose prima della riga con i miei nomi di colonna effettivi. Questa soluzione ha funzionato bene. Leggere prima il file, quindi passare l'elenco a csv.DictReader.

with open('all16.csv') as tmp:
    # Skip first line (if any)
    next(tmp, None)

    # {line_num: row}
    data = dict(enumerate(csv.DictReader(tmp)))

Preso in prestito dal ricettario di Python ,
un codice modello più conciso potrebbe assomigliare a questo:

import csv
with open('stocks.csv') as f:
    f_csv = csv.reader(f) 
    headers = next(f_csv) 
    for row in f_csv:
        # Process row ...

Normalmente useresti next(incsv)che fa avanzare l'iteratore di una riga, quindi salti l'intestazione. L'altro (diciamo che vuoi saltare 30 righe) sarebbe:

from itertools import islice
for row in islice(incsv, 30, None):
    # process

usa csv.DictReader invece di csv.Reader. Se il parametro fieldnames viene omesso, i valori nella prima riga del file csv verranno utilizzati come nomi di campo. sarà quindi possibile accedere ai valori dei campi utilizzando la riga ["1"] ecc

Il nuovo pacchetto "pandas" potrebbe essere più pertinente di "csv". Il codice seguente leggerà un file CSV, interpretando per impostazione predefinita la prima riga come intestazione di colonna e troverà il minimo tra le colonne.

import pandas as pd

data = pd.read_csv('all16.csv')
data.min()

Bene, anche la mia mini libreria di wrapper farebbe il lavoro.

>>> import pyexcel as pe
>>> data = pe.load('all16.csv', name_columns_by_row=0)
>>> min(data.column[1])

Nel frattempo, se sai qual è l'indice della colonna di intestazione uno, ad esempio "Colonna 1", puoi farlo invece:

>>> min(data.column["Column 1"])

Per me il modo più semplice è usare la portata.

import csv

with open('files/filename.csv') as I:
    reader = csv.reader(I)
    fulllist = list(reader)

# Starting with data skipping header
for item in range(1, len(fulllist)): 
    # Print each row using "item" as the index value
    print (fulllist[item])  

Poiché questo è correlato a qualcosa che stavo facendo, lo condividerò qui.

E se non siamo sicuri che sia presente un'intestazione e non hai nemmeno voglia di importare sniffer e altre cose?

Se la tua attività è di base, come stampare o aggiungere a un elenco o un array, potresti semplicemente usare un'istruzione if:

# Let's say there's 4 columns
with open('file.csv') as csvfile:
     csvreader = csv.reader(csvfile)
# read first line
     first_line = next(csvreader)
# My headers were just text. You can use any suitable conditional here
     if len(first_line) == 4:
          array.append(first_line)
# Now we'll just iterate over everything else as usual:
     for row in csvreader:
          array.append(row)

La documentazione per il modulo CSV di Python 3 fornisce questo esempio:

with open('example.csv', newline='') as csvfile:
    dialect = csv.Sniffer().sniff(csvfile.read(1024))
    csvfile.seek(0)
    reader = csv.reader(csvfile, dialect)
    # ... process CSV file contents here ...

Il Sniffercercherà di rilevare automaticamente molte cose sul file CSV. È necessario chiamare esplicitamente il suo has_header()metodo per determinare se il file ha una riga di intestazione. In tal caso, salta la prima riga durante l'iterazione delle righe CSV. Puoi farlo in questo modo:

if sniffer.has_header():
    for header_row in reader:
        break
for data_row in reader:
    # do something with the row

Userei la coda per sbarazzarmi della prima riga indesiderata:

tail -n +2 $INFIL | whatever_script.py 

basta aggiungere [1:]

esempio sotto:

data = pd.read_csv("/Users/xyz/Desktop/xyxData/xyz.csv", sep=',', header=None)**[1:]**

che funziona per me in iPython

Python 3.X

Gestisce UTF8 BOM + HEADER

Era abbastanza frustrante che il csvmodulo non potesse ottenere facilmente l'intestazione, c'è anche un bug con la distinta componenti UTF-8 (primo carattere nel file). Questo funziona per me usando solo il csvmodulo:

import csv

def read_csv(self, csv_path, delimiter):
    with open(csv_path, newline='', encoding='utf-8') as f:
        # https://bugs.python.org/issue7185
        # Remove UTF8 BOM.
        txt = f.read()[1:]

    # Remove header line.
    header = txt.splitlines()[:1]
    lines = txt.splitlines()[1:]

    # Convert to list.
    csv_rows = list(csv.reader(lines, delimiter=delimiter))

    for row in csv_rows:
        value = row[INDEX_HERE]

Vorrei convertire csvreader in list, quindi inserire il primo elemento

import csv        

with open(fileName, 'r') as csvfile:
        csvreader = csv.reader(csvfile)
        data = list(csvreader)               # Convert to list
        data.pop(0)                          # Removes the first row

        for row in data:
            print(row)

Python 2.x

csvreader.next()

Restituisce la riga successiva dell'oggetto iterabile del lettore come un elenco, analizzato in base al dialetto corrente.

csv_data = csv.reader(open('sample.csv'))
csv_data.next() # skip first row
for row in csv_data:
    print(row) # should print second row

Python 3.x

csvreader.__next__()

Restituisce la riga successiva dell'oggetto iterabile del lettore come un elenco (se l'oggetto è stato restituito da reader ()) o un dict (se è un'istanza di DictReader), analizzato in base al dialetto corrente. Di solito dovresti chiamarlo come successivo (lettore).

csv_data = csv.reader(open('sample.csv'))
csv_data.__next__() # skip first row
for row in csv_data:
    print(row) # should print second row