MySQL carica valori NULL dai dati CSV

Ho un file che può contenere da 3 a 4 colonne di valori numerici che sono separati da una virgola. I campi vuoti vengono definiti con l'eccezione quando si trovano alla fine della riga:

1,2,3,4,5
1,2,3,,5
1,2,3

La seguente tabella è stata creata in MySQL:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| Campo | Digita | Null | Chiave | Predefinito | Extra |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| uno | int (1) | SÌ | | NULL | |
| due | int (1) | SÌ | | NULL | |
| tre | int (1) | SÌ | | NULL | |
| quattro | int (1) | SÌ | | NULL | |
| cinque | int (1) | SÌ | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

Sto cercando di caricare i dati utilizzando il comando LOAD MySQL:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

La tabella risultante:

+ ------ + ------ + ------- + ------ + ------ +
| uno | due | tre | quattro | cinque |
+ ------ + ------ + ------- + ------ + ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ ------ + ------ + ------- + ------ + ------ +

Il problema sta nel fatto che quando un campo è vuoto nei dati non elaborati e non è definito, MySQL per qualche motivo non utilizza il valore predefinito delle colonne (che è NULL) e usa zero. NULL viene utilizzato correttamente quando il campo manca del tutto.

Sfortunatamente, devo essere in grado di distinguere tra NULL e 0 in questa fase, quindi qualsiasi aiuto sarebbe apprezzato.

Grazie S.

modificare

L'output di SHOW WARNINGS:

+ --------- + ------ + -------------------------------- ------------------------ +
| Livello | Codice | Messaggio |
+ --------- + ------ + -------------------------------- ------------------------ +
| Avvertenza | 1366 | Valore intero errato: '' per la colonna 'quattro' alla riga 2 |
| Avvertenza | 1261 | La riga 3 non contiene dati per tutte le colonne |
| Avvertenza | 1261 | La riga 3 non contiene dati per tutte le colonne |
+ --------- + ------ + -------------------------------- ------------------------ +

Questo farà quello che vuoi. Legge il quarto campo in una variabile locale e quindi imposta il valore del campo effettivo su NULL, se la variabile locale finisce per contenere una stringa vuota:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

Se sono tutti probabilmente vuoti, li leggeresti tutti in variabili e avresti più istruzioni SET, come questo:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

Il manuale di MySQL dice:

Quando si leggono i dati con LOAD DATA INFILE, le colonne vuote o mancanti vengono aggiornate con ''. Se si desidera un valore NULL in una colonna, è necessario utilizzare \ N nel file di dati. La parola letterale "NULL" può anche essere usata in alcune circostanze.

Quindi è necessario sostituire gli spazi vuoti con \ N in questo modo:

1,2,3,4,5
1,2,3,\N,5
1,2,3

Il comportamento è diverso a seconda della configurazione del database. In modalità rigorosa, ciò genererebbe un errore, altrimenti un avviso. La seguente query può essere utilizzata per identificare la configurazione del database.

mysql> show variables like 'sql_mode';

Pre-elabora il CSV di input per sostituire le voci vuote con \ N.

Tentativo di regex: s / ,, /, \ n, / ge s /, $ /, \ N / g

In bocca al lupo.

(variabile1, @ variabile2, ..) SET variabile2 = nullif (@ variabile2, '' o '') >> puoi mettere qualsiasi condizione

mostra variabili

Show variables like "`secure_file_priv`";

Nota: mantenere il file CSV nella posizione indicata dal comando precedente.

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

Nota: qui la datecolonna ' ' ha alcuni valori vuoti nel file CSV.

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);