unit test per un parser CSV

Quali test devo usare per testare un'unità un parser CSV?

Ho un semplice parser CSV in C # e voglio essere sicuro di avere una buona copertura del test unitario di tutti i casi limite comuni (e non comuni). Quali test devo usare per identificare potenziali problemi e casi limite?

Ho appena trovato https://github.com/maxogden/csv-spectrum :

Un sacco di diversi file CSV da utilizzare come test acido per le librerie di analisi CSV. Esistono anche versioni JSON dei CSV a scopo di verifica.

L'obiettivo di questo repository è acquisire casi di test per rappresentare l'intero spettro CSV.

Ecco alcuni casi limite che dovresti aver pensato e per cui avere dei casi di prova.

1. Campo di base. ,foo,
2. Campo citato di base. ,"foo",
3. Campo tra virgolette con newline incorporato. ,"foo\nbar"
4. Campo tra virgolette con virgola incorporata. ,"foo,bar"
5. Campo tra virgolette con citazione incorporata. ,"foo""bar"
6. Distingui tra stringhe vuote e null? Se lo fai, allora ,,dovrebbe essere nullo e ,"",dovrebbe dare una stringa vuota.
7. Cerchi di rilevare i tipi di dati e fai la cosa giusta? CSV è spesso usato per dati numerici. Aggiungi i test che ritieni appropriati.
8. Se si scrivono dati, è necessario coprire tutti i casi di cui sopra.
9. Cosa fai con le linee con diversi numeri di campi? (Provalo.)
10. Cosa fai con le righe vuote finali? (Provalo.)
11. Come sono le prestazioni su un file di grandi dimensioni? (Provalo. Ho visto troppi parser CSV nostrani che usano le stringhe in modo inefficiente e di conseguenza impiegano un tempo quadratico, portando a cose semplici che diventano dolorosamente lente.)

Non esiste una specifica formale per i file CSV. Tuttavia, dai un'occhiata a RFC 4180 - Tipi comuni e tipi MIME per i file CSV , (in particolare la Sezione 2) che documenta il formato che sembra essere seguito dalla maggior parte delle implementazioni.

Sembra abbastanza semplice iniziare a generare alcuni casi di test dall'elenco nella sezione 2, in particolare:

1. Ogni record si trova su una riga separata, delimitata da un'interruzione di riga (CRLF). Per esempio:

   aaa, bbb, ccc CRLF zzz, yyy, xxx CRLF

2. L'ultimo record nel file potrebbe avere o meno un'interruzione di riga finale. Per esempio:

   aaa, bbb, ccc CRLF zzz, yyy, xxx

3. C'è forse una riga di intestazione opzionale che appare come la prima riga del file con lo stesso formato delle normali righe di record. Questa intestazione conterrà i nomi corrispondenti ai campi nel file e dovrebbe contenere lo stesso numero di campi dei record nel resto del file (la presenza o l'assenza della riga di intestazione deve essere indicata tramite il parametro facoltativo "header" di questo Tipo MIME). Per esempio:

   field_name, field_name, field_name CRLF aaa, bbb, ccc CRLF zzz, yyy, xxx CRLF

4. All'interno dell'intestazione e di ogni record, possono esserci uno o più campi, separati da virgole. Ogni riga deve contenere lo stesso numero di campi in tutto il file. Gli spazi sono considerati parte di un campo e non devono essere ignorati. L'ultimo campo nel record non deve essere seguito da una virgola. Per esempio:

   aaa, bbb, ccc

5. Ciascun campo può essere racchiuso tra virgolette doppie (tuttavia alcuni programmi, come Microsoft Excel, non utilizzano affatto doppie virgolette). Se i campi non sono racchiusi tra virgolette doppie, le virgolette doppie potrebbero non apparire all'interno dei campi. Per esempio:

   "aaa", "bbb", "ccc" CRLF zzz, yyy, xxx

6. I campi che contengono interruzioni di riga (CRLF), virgolette doppie e virgole devono essere racchiusi tra virgolette doppie. Per esempio:

   "aaa", "b CRLF bb", "ccc" CRLF zzz, yyy, xxx

7. Se le virgolette doppie vengono utilizzate per racchiudere i campi, è necessario evitare una virgoletta doppia che appare all'interno di un campo precedendola con un'altra virgoletta doppia. Per esempio:

   "Aaa", "b" "BB", "CCC"

I dati del censimento degli Stati Uniti sono disponibili in CSV

Ci sto lavorando da un po '. È certamente abbastanza strano per essere un buon test, e ce ne sono tonnellate e tonnellate.

Dai un'occhiata a questa directory e guarda il codice nei file * .t .:

http://cpansearch.perl.org/src/MAKAMAKA/Text-CSV-1.32/t/

(Il numero di versione -1.32 potrebbe cambiare alla fine, quindi il collegamento potrebbe diventare "morto". Aumenta tu stesso il numero di versione per tentativi ed errori, oppure vai alla directory principale o fai clic qui

https://metacpan.org/pod/Text::CSV

e fai clic su "Sfoglia" per trovare il codice sorgente della versione più recente)

Text :: CSV_XS è un modulo perl maturo per l'analisi dei file CSV. I file * .t sono scritti in Perl 5, contengono molti casi di test per l'autotest del modulo e devono essere eseguiti al momento dell'installazione del modulo.