Come posso eseguire uno script di grandi dimensioni con molti inserimenti senza esaurire la memoria?

Domanda:

Ho una sceneggiatura con circa 45 mila inserti da dichiarazioni selezionate. Quando provo ad eseguirlo, viene visualizzato un messaggio di errore che indica che ho esaurito la memoria. Come posso eseguire questo script?

Contesto:

1. Aggiunti alcuni nuovi campi dati per rendere piacevole l'app con un'altra app utilizzata dal client.
2. Ho ricevuto un foglio di calcolo di dati dal client pieno di dati che associavano gli elementi di dati correnti ai valori per questi nuovi campi.
3. Foglio di calcolo convertito per inserire istruzioni.
4. Se eseguo solo alcune delle affermazioni, funziona, ma l'intero script no.
5. No. Non ci sono errori di battitura.

Se c'è un altro modo in cui dovrei caricare questi dati, sentitevi liberi di castigarmi e di farmelo sapere.

La dimensione massima del batch per SQL Server 2005 è 65.536 * Network Packet Size (NPS), dove NPS è in genere 4KB. Funziona fino a 256 MB. Ciò significherebbe che le tue istruzioni insert avrebbero una media di 5,8 KB ciascuna. Non sembra giusto, ma forse ci sono spazi estranei o qualcosa di insolito lì dentro.

Il mio primo suggerimento sarebbe quello di inserire un'istruzione "GO" dopo ogni istruzione INSERT. Ciò spezzerà il tuo singolo batch di 45.000 istruzioni INSERT in 45.000 batch separati. Questo dovrebbe essere più facile da digerire. Fai attenzione, se uno di quegli inserti fallisce, potresti avere difficoltà a trovare il colpevole. Potresti voler proteggerti con una transazione. Puoi aggiungere rapidamente queste istruzioni se il tuo editor ha una buona ricerca e sostituzione (che ti permetterà di cercare e sostituire i caratteri di ritorno come \ r \ n) o una funzione macro.

Il secondo suggerimento è di utilizzare una procedura guidata per importare i dati direttamente da Excel. La procedura guidata crea un piccolo pacchetto SSIS per te, dietro le quinte, e quindi lo esegue. Non avrà questo problema.

BULK INSERTo bcpsembrano opzioni più appropriate rispetto a 45.000 istruzioni insert.

Se è necessario attenersi alle istruzioni di inserimento, prenderei in considerazione alcune opzioni:

A: Utilizzare transazioni e avvolgere batch di 100 o 500 o 1000 istruzioni in ciascuna per ridurre al minimo l'impatto sul registro e sul batch. per esempio

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

B: Invece di singole istruzioni insert, utilizzare UNION ALLper 100 o 500 istruzioni alla volta, ad es

INSERT dbo.table(a, ...)
SELECT 1, ...
UNION ALL SELECT 2, ...
...
UNION ALL SELECT 500, ...
GO

INSERT dbo.table(a, ...)
SELECT 501, ...
UNION ALL SELECT 502, ...
...
UNION ALL SELECT 1000, ...
GO

Ho lasciato errori nella gestione per brevità, ma il punto è che non avrei mai provato a inviare un singolo batch di 45.000 singole istruzioni a SQL Server.

Non sono sicuro del motivo per cui si sta verificando l'errore di memoria insufficiente, ma esiste un approccio più semplice.

Se puoi esportare i dati dal foglio di calcolo in un formato delimitato (ad esempio csv) puoi utilizzare la procedura guidata di importazione dei dati in SSMS per inserire i dati per te:

Utilizzando più SqlBulkCopy, creare una tabella temporanea. Inserire nuovi dati nella tabella temporanea, quindi unire i dati nella tabella temporanea in quella esistente. Esempio usando il metodo C # SqlBulkCopy.WriteToServer (DataTable) . Spero che sia d'aiuto

Sì, abbiamo potuto farlo, ho provato con un approccio BCP (Bulk Copy Program) al fine di evitare un problema OutOfMemory .

Nota : provato su SQL Server 2014.

In BCP, prima dobbiamo esportare i dati del database di origine nel file bcp (nella cartella della directory locale) e quindi importare quel file bcp nel database di destinazione.

Di seguito sono riportati i passaggi della torta:

Nota:

a) Assicurarsi che nel database di destinazione sia presente una tabella vuota

b) Assicurarsi che Temp cartella è presente in C unità

1. Crea un file bat chiamato Export_Data.bat con il comando mostrato di seguito:

   bcp.exe [Source_DataBase_Name].[dbo].[TableName] OUT "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   pausa

2. Esegui quel file bat, di conseguenza un file bcp verrà generato nella cartella Temp

3. Quindi crea un altro file bat chiamato Import_Data.bat con il seguente comando:

   bcp.exe [Destination_DataBase_Name].[dbo].[TableName] IN "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   Pausa

Ed eccoci qui!