Qual è il modo migliore per INSERIRE un set di dati di grandi dimensioni in un database MySQL (o qualsiasi database in generale)

Come parte di un progetto PHP, devo inserire una riga in un database MySQL. Sono ovviamente abituato a farlo, ma ciò ha richiesto l'inserimento in 90 colonne in una query. La query risultante sembra orribile e monolitica (in particolare inserendo le mie variabili PHP come valori):

INSERT INTO mytable (column1, colum2, ..., column90) 
VALUES
('value1', 'value2', ..., 'value90')

e sono preoccupato che non sto andando in questo modo nel modo giusto. Mi ci è voluto anche molto tempo (noioso) solo per scrivere tutto e testare la scrittura del codice di test sarà altrettanto noioso, temo.

In che modo i professionisti possono scrivere e testare rapidamente queste query? C'è un modo per accelerare il processo?

Joe, il tuo ultimo commento ha spiegato molto. Penso che il vero problema sia la progettazione dei dati. Potrebbero essere necessarie nuove colonne quando il formato del documento cambia e, nella mia esperienza, i formati del documento tendono a cambiare frequentemente. Invece di una tabella a 90 colonne, con una singola riga per report, memorizzerei i dati del report in una tabella con quattro colonne: report_id, format_id, field_name, field_value. Ogni rapporto verrebbe rappresentato da 90 righe, una per ogni valore di campo nel rapporto. Questo dovrebbe semplificare notevolmente il tuo codice.

In generale, il modo più rapido per caricare un set di dati di grandi dimensioni in un database SQL è utilizzare l'interfaccia di caricamento di massa nativa. Per quanto ne so, ogni dbms SQL ne ha almeno uno.

Documenti MySQL: utilizzo di Bulk Loader

Se io devo trasformare un tabulazioni o file delimitato da virgole in istruzioni SQL INSERT, utilizzare awk per leggere il file di input e scrivere il file di output. Non c'è niente di veramente speciale in Awk; capita solo di essere il linguaggio di elaborazione del testo che conosco meglio. Puoi ottenere gli stessi risultati scrivendo il codice in Perl, Python, Ruby, Rexx, Lisp e così via.

Se riesci a ottenere facilmente i nomi delle colonne in un foglio di calcolo Excel, puoi scrivere macro Excel per produrre codice per varie query e istruzioni DML, quindi incollare i valori in un'altra colonna e l'istruzione insert / update viene creata automaticamente per te. La digitazione manuale è un modo molto lento per farlo, quindi vedi se riesci a trovare trucchi usando gli strumenti esistenti. Molti editor di testo orientati agli sviluppatori hanno anche la possibilità di registrare e archiviare macro per rendere i lavori ripetitivi come questo molto più veloci e facili.

Se si dispone di un file CSV, è possibile utilizzare LOAD DATA INFILE ... per importare i dati.

Se devi utilizzare le query "INSERT", eseguire inserimenti di massa accelererà il processo. Invece di eseguire una query "INSERT" per ogni singola riga, raggruppare le righe, dire 100 ed eseguire la query. Qualcosa come questo:

INSERT INTO theTable (col1, col2, col3,....., col89, col90) 
VALUES
(val11, val12, val13, ........, val189, val190),
(val21, val22, val23, ........, val289, val290),
.......
......
(val101, val102, val103, ........, va1089, val1090);

Un modo efficace per scrivere una query su più colonne nel database MySQL è convertire questi dati nel formato JSON o YAML e inserirli come una singola unità. Cambia "scrivi un inserto per una tabella con 90 colonne" in "scrivi un inserto in una tabella con una colonna".

In questo approccio, non tutto deve essere suddiviso nei suoi componenti di base e il singolo dato viene archiviato in una sola colonna.

Con MySQL è possibile utilizzare una sintassi alternativa per le insertdichiarazioni:

insert into table
        set column1 = value1
          , column2 = value2
          , column3 = value3

Lo scenario sembra un'ottima soluzione per una soluzione NoSQL, poiché l'elenco degli attributi può cambiare in qualsiasi momento il formato cambia. Hai valutato altre opzioni oltre a MySQL? Scava intorno a DynamoDB / MongoDB / Cassandra - potrebbe essere una soluzione migliore.

Esiste un modo più efficiente per inserire dati nel database usando php e mysql. Possiamo usare LOAD COMMAND per inserire i dati. Inserisce i dati molto velocemente.

Per questo creare un file flat (ad esempio ho usato il file .csv) con i tuoi dati usando la fputcsv()funzione. Quindi inserire i dati utilizzando il comando LOAD. Sintassi qualcosa di simile come di seguito:

LOAD DATA LOCAL INFILE "C:/downloads/local/my_data_file.csv"
INTO TABLE  my_data
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;

Prova quanto segue. Ha funzionato per me.

I nomi dei moduli devono essere uguali ai nomi delle colonne del database

Ottieni i valori come di seguito:

foreach ($_GET as $formName => $value) {
    $sql = mysql_query("UPDATE table_name SET $formName = '$value' WHERE ID= $id");
}

Dovrai prima inserire un ID prima del ciclo foreach. puoi ottenere il prossimo id facendo:

SELECT MAX(id) FROM .....

aggiungi 1 a id e inseriscilo.