Esiste un robusto strumento da riga di comando per l'elaborazione di file CSV?

Lavoro con file CSV e a volte ho bisogno di controllare rapidamente il contenuto di una riga o colonna dalla riga di comando. In molti casi cut, head, tail, e gli amici farà il lavoro; tuttavia, il taglio non può facilmente gestire situazioni come

"this, is the first entry", this is the second, 34.5

Qui, la prima virgola fa parte del primo campo, ma cut -d, -f1non è d'accordo. Prima di scrivere una soluzione da solo, mi chiedevo se qualcuno sapesse di un buon strumento che già esiste per questo lavoro. Dovrebbe, almeno, essere in grado di gestire l'esempio sopra e restituire una colonna da un file in formato CSV. Altre caratteristiche desiderabili includono la possibilità di selezionare colonne in base ai nomi delle colonne indicati nella prima riga, supporto per altri stili di quotazione e supporto per file separati da tabulazioni.

Se non conosci questo strumento ma hai suggerimenti sull'implementazione di un tale programma in Bash, Perl o Python, o in altri linguaggi di scripting comuni, non mi dispiacerebbe tali suggerimenti.

Puoi usare il csvmodulo di Python .

Un semplice esempio:

import csv
reader = csv.reader(open("test.csv", "r"))
for row in reader:
    for col in row:
        print col

Probabilmente sono un po 'troppo tardi, ma c'è un altro strumento degno di nota: csvkit

http://csvkit.readthedocs.org/

Ha molti strumenti da riga di comando che possono:

• riformattazione di file CSV,
• convertire da e verso CSV da vari formati (JSON, SQL, XLS),
• l'equivalente di cut, grep, sorte altri, ma CSV-aware,
• unire file CSV diversi,
• eseguire query SQL generali sui dati dai file CSV.

Sembra un lavoro con Perl Text::CSV.

perl -MText::CSV -pe '
    BEGIN {$csv = Text::CSV->new();}
    $csv->parse($_) or die;
    @fields = $csv->fields();
    print @fields[1,3];
'

Consulta la documentazione per come gestire i nomi delle colonne. Il separatore e lo stile di quotazione possono essere regolati con parametri su new. Vedi anche Text::CSV::Separatorper indovinare il separatore.

Ho trovato csvfix, uno strumento da riga di comando fa bene il lavoro. Dovrai farlo tu stesso comunque:

http://neilb.bitbucket.org/csvfix

Fa tutto ciò che ti aspetteresti, ordina / seleziona colonne, dividi / unisci e molti non ti piacerebbe generare inserti SQL da dati CSV e diffondere dati CSV.

Se vuoi usare la riga di comando (e non creare un intero programma per fare il lavoro), ti piacerebbe usare le righe , un progetto su cui sto lavorando: è un'interfaccia della riga di comando per i dati tabulari ma anche una libreria Python da usare nei tuoi programmi. Con l'interfaccia della riga di comando puoi stampare in modo carino tutti i dati in CSV, XLS, XLSX, HTML o qualsiasi altro formato tabulare supportato dalla libreria con un semplice comando:

rows print myfile.csv

Se myfile.csvè così:

state,city,inhabitants,area
RJ,Angra dos Reis,169511,825.09
RJ,Aperibé,10213,94.64
RJ,Araruama,112008,638.02
RJ,Areal,11423,110.92
RJ,Armação dos Búzios,27560,70.28

Quindi le righe stamperanno i contenuti in modo meraviglioso, in questo modo:

+-------+-------------------------------+-------------+---------+
| state |              city             | inhabitants |   area  |
+-------+-------------------------------+-------------+---------+
|    RJ |                Angra dos Reis |      169511 |  825.09 |
|    RJ |                       Aperibé |       10213 |   94.64 |
|    RJ |                      Araruama |      112008 |  638.02 |
|    RJ |                         Areal |       11423 |  110.92 |
|    RJ |            Armação dos Búzios |       27560 |   70.28 |
+-------+-------------------------------+-------------+---------+

Installazione

Se sei uno sviluppatore Python e hai già pipinstallato sul tuo computer, esegui un virtualenv o con sudo:

pip install rows

Se stai usando Debian:

sudo apt-get install rows

Altre caratteristiche interessanti

Conversione di formati

Puoi convertire tra qualsiasi formato supportato:

rows convert myfile.xlsx myfile.csv

Interrogazione

Sì, puoi usare SQL in un file CSV:

$ rows query 'SELECT city, area FROM table1 WHERE inhabitants > 100000' myfile.csv
+----------------+--------+
|      city      |  area  |
+----------------+--------+
| Angra dos Reis | 825.09 |
|       Araruama | 638.02 |
+----------------+--------+

È anche possibile convertire l'output della query in un file anziché in stdout utilizzando il --outputparametro

Come libreria Python

Puoi farlo anche nei tuoi programmi Python:

import rows
table = rows.import_from_csv('myfile.csv')
rows.export_to_txt(table, 'myfile.txt')
# `myfile.txt` will have same content as `rows print` output

Spero ti sia piaciuto!

R non è il mio linguaggio di programmazione preferito, ma è buono per cose come questa. Se il tuo file CSV è

***********
foo.csv
***********
 col1, col2, col3
"this, is the first entry", this is the second, 34.5
'some more', "messed up", stuff

All'interno del tipo di interprete R.

> x=read.csv("foo.csv", header=FALSE)

> x
                     col1                col2   col3
1 this, is the first entry  this is the second   34.5
2              'some more'           messed up  stuff
> x[1]  # first col
                      col1
1 this, is the first entry
2              'some more'
> x[1,] # first row
                      col1                col2  col3
1 this, is the first entry  this is the second  34.5

Per quanto riguarda le altre tue richieste, per "la possibilità di selezionare le colonne in base ai nomi delle colonne indicati nella prima riga" vedi

> x["col1"]
                      col1
1 this, is the first entry
2              'some more'

Per "supporto per altri stili di quotazione", consultare l' quoteargomento read.csv (e le relative funzioni). Per "supporto per file separati da tabulazione" consultare l' separgomento to read.csv (impostato sepsu '\ t').

Per ulteriori informazioni, consultare la guida in linea.

> help(read.csv)

Ho usato csvtool una volta e mi ha fatto risparmiare un sacco di tempo e problemi. Callable dal guscio.

http://caml.inria.fr/cgi-bin/hump.en.cgi?contrib=447

Miller è un altro strumento utile per manipolare i dati basati sul nome, incluso CSV (con intestazioni). Per estrarre la prima colonna di un file CSV, senza preoccuparti del suo nome, dovresti fare qualcosa del genere

printf '"first,column",second,third\n1,2,3\n' |
  mlr --csv --implicit-csv-header --headerless-csv-output cut -f 1

Oppure, si potrebbe provare qualche awk magia. Tuttavia, non sono un buon utente awk e non posso confermare che funzionerebbe correttamente e come farlo.

Dai un'occhiata anche a GNU Recutils e agli strumenti di compressione .

(tramite http://www.reddit.com/r/commandline/comments/mfcu9/anyone_using_gnu_recutils_is_it_outdatedsuperceded/ )

Per usare python dalla riga di comando, puoi dare un'occhiata a pythonpy ( https://github.com/Russell91/pythonpy ):

$ echo $'a,b,c\nd,e,f' | py '[x[1] for x in csv.reader(sys.stdin)']
b
e

prova "csvtool" questo pacchetto è un utile strumento da riga di comando per la gestione dei file CSV

cissy eseguirà anche l'elaborazione csv da riga di comando. È scritto in C (piccolo / leggero) con pacchetti rpm e deb disponibili per la maggior parte delle distribuzioni.

Utilizzando l'esempio:

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 1
"this, is the first entry"

o

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 2
 this is the second

o

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 2-
 this is the second, 34.5

C'è anche una libreria Curry per leggere / scrivere file in formato CSV : CSV .

Il repository github Structured Text Tools ha un utile elenco di strumenti pertinenti della riga di comando di Linux. In particolare, la sezione Valori separati da delimitatore elenca diversi strumenti compatibili con CSV che supportano direttamente le operazioni richieste.

Consiglierei xsv - Un veloce toolkit di riga di comando CSV scritto in Rust ( Github ).

Scritto dall'autore di Ripgrep .

In primo piano in Come abbiamo reso la nostra elaborazione CSV 142 volte più veloce ( thread Reddit ).

Uno dei migliori strumenti è Miller ( http://johnkerl.org/miller/doc/index.html ). È come awk, sed, cut, join e sort per dati indicizzati come CSV, TSV e JSON tabulare.

Per esempio

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --icsv --implicit-csv-header cat

ti dà

1=this, is the first entry,2= this is the second,3= 34.5

Se vuoi un TSV

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --c2t --implicit-csv-header cat

ti dà (è possibile rimuovere l'intestazione)

1       2       3
this, is the first entry         this is the second      34.5

Se vuoi prima e terza colonna, cambiando il loro ordine

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --csv --implicit-csv-header --headerless-csv-output cut -o -f 3,1

ti dà

 34.5,"this, is the first entry"

Se vuoi uno strumento visivo / interattivo nel terminale, consiglio vivamente VisiData.

Ha tabelle di frequenza (mostrate sopra), pivot, fusione, grafici a dispersione, filtro / calcolo usando Python e altro.

Puoi passare file CSV in questo modo

vd hello.csv

Ci sono opzioni specifiche CSV: --csv-dialect, --csv-delimiter, --csv-quotechar, e --csv-skipinitialspaceper la messa a punto la gestione di file CSV.

Una soluzione terribile

awk -vq='"' '
func csv2del(n) {
  for(i=n; i<=c; i++)
    {if(i%2 == 1) gsub(/,/, OFS, a[i])
    else a[i] = (q a[i] q)
    out = (out) ? out a[i] : a[i]}
  return out}
{c=split($0, a, q); out=X;
  if(a[1]) $0=csv2del(1)
  else $0=csv2del(2)}1' OFS='|' file