Perché DELETE lascia un effetto persistente sulle prestazioni?

20

Alla fine è uno script di test per confrontare le prestazioni tra una variabile @table e una tabella #temp. Penso di averlo impostato correttamente - i tempi delle prestazioni sono presi al di fuori dei comandi DELETE / TRUNCATE. I risultati che sto ottenendo sono i seguenti (tempi in millisecondi).

@Table Variable  #Temp (delete)  #Temp (truncate)
---------------  --------------  ----------------
5723             5180            5506
15636            14746           7800
14506            14300           5583
14030            15460           5386
16706            16186           5360

Solo per essere sicuro che io sia sano, questo dimostra che CURRENT_TIMESTAMP (aka GetDate()) è preso al momento dell'istruzione, non del batch, quindi non ci dovrebbero essere interazioni tra TRUNCATE / DELETE con l' SET @StartTime = CURRENT_TIMESTAMPistruzione.

select current_timestamp
waitfor delay '00:00:04'
select current_timestamp

-----------------------
2012-10-21 11:29:20.290

-----------------------
2012-10-21 11:29:24.290

È abbastanza coerente nel salto tra la prima e le successive, quando DELETE viene utilizzato per cancellare la tabella. Cosa mi manca nella mia comprensione di ELIMINA ? L'ho ripetuto molte volte, scambiato l'ordine, dimensionato tempdb per non richiedere crescita ecc.

CREATE TABLE #values (
  id int identity primary key, -- will be clustered
  name varchar(100) null,
  number int null,
  type char(3) not null,
  low int null,
  high int null,
  status smallint not null
);
GO
SET NOCOUNT ON;

DECLARE @values TABLE (
  id int identity primary key clustered,
  name varchar(100) null,
  number int null,
  type char(3) not null,
  low int null,
  high int null,
  status smallint not null
);
DECLARE  @ExecutionTime  TABLE(      Duration bigINT    ) 
DECLARE  @StartTime DATETIME,  @i INT = 1; 
WHILE (@i <= 5) 
  BEGIN 
    DELETE @values;
    DBCC freeproccache With NO_InfoMSGS;
    DBCC DROPCLEANBUFFERS With NO_InfoMSGS;
    SET @StartTime = CURRENT_TIMESTAMP -- alternate getdate() 
    /****************** measured process ***********************/ 

    INSERT @values SELECT a.* FROM master..spt_values a join master..spt_values b on b.type='P' and b.number < 1000;

    /**************** end measured process *********************/ 
    INSERT @ExecutionTime 
    SELECT DurationInMilliseconds = datediff(ms,@StartTime,CURRENT_TIMESTAMP) 
    SET @i +=  1 
  END -- WHILE 

SELECT DurationInMilliseconds = Duration FROM   @ExecutionTime 
GO 

-- Temporary table
DECLARE  @ExecutionTime  TABLE(      Duration bigINT    ) 
DECLARE  @StartTime DATETIME,  @i INT = 1; 
WHILE (@i <= 5) 
  BEGIN 
    delete #values;
    -- TRUNCATE TABLE #values;
    DBCC freeproccache With NO_InfoMSGS;
    DBCC DROPCLEANBUFFERS With NO_InfoMSGS;
    SET @StartTime = CURRENT_TIMESTAMP -- alternate getdate() 
    /****************** measured process ***********************/ 

    INSERT #values SELECT a.* FROM master..spt_values a join master..spt_values b on b.type='P' and b.number < 1000;

    /**************** end measured process *********************/ 
    INSERT @ExecutionTime 
    SELECT DurationInMilliseconds = datediff(ms,@StartTime,CURRENT_TIMESTAMP) 
    SET @i +=  1 
  END -- WHILE 

SELECT DurationInMilliseconds = Duration FROM   @ExecutionTime 
GO

DROP TABLE  #values 
SET NOCOUNT OFF;
sql-server  performance  sql-server-2012  delete  truncate 
— 孔夫子
fonte

Risposte:

20

Questa differenza sembra applicarsi solo quando l'oggetto è un albero B +. Quando si rimuove la primary keyvariabile sulla tabella in modo che sia un heap, ho ottenuto i seguenti risultati

2560
2120
2080
2130
2140

Ma con il PK ho trovato un modello simile anche nei miei test con i risultati tipici di seguito.

+--------+--------+---------+-------------------+
| @table | #table | ##table | [permanent_table] |
+--------+--------+---------+-------------------+
|   2670 |   2683 |    9603 |              9703 |
|   6823 |   6840 |    9723 |              9790 |
|   6813 |   6816 |    9626 |              9703 |
|   6883 |   6816 |    9600 |              9716 |
|   6840 |   6856 |    9610 |              9673 |
+--------+--------+---------+-------------------+

La mia teoria è che c'è qualche ottimizzazione disponibile quando si eseguono inserimenti di massa in alberi B + temporanei locali che si applica solo quando non sono già state assegnate pagine.

Baso questo sulle seguenti osservazioni.

  1. Durante l'esecuzione di varie versioni del codice di test ho visto questo schema solo con @table_variablese #temptabelle. Tabelle non permanenti in tempdbné ##tabelle.

  2. Per ottenere prestazioni più lente non è necessario aver precedentemente aggiunto e rimosso una grande quantità di righe dalla tabella. È sufficiente aggiungere una sola riga e lasciarla lì.

  3. TRUNCATEdealloca tutte le pagine della tabella. DELETEnon causerà la deallocazione dell'ultima pagina nella tabella.

  4. L'uso del profiler VS 2012 mostra che nel caso più rapido SQL Server utilizza un percorso di codice diverso. Il 36% del tempo è trascorso sqlmin.dll!RowsetBulk::InsertRowcontro il 61% del tempo trascorso nel sqlmin.dll!RowsetNewSS::InsertRowcaso più lento.

In esecuzione 

SELECT * 
FROM sys.dm_db_index_physical_stats(2,OBJECT_ID('tempdb..#values'),1,NULL, 'DETAILED')

dopo l'eliminazione ritorna

+-------------+------------+--------------+--------------------+
| index_level | page_count | record_count | ghost_record_count |
+-------------+------------+--------------+--------------------+
|           0 |          1 |            0 |                  1 |
|           1 |          1 |            1 |                  0 |
|           2 |          1 |            1 |                  0 |
+-------------+------------+--------------+--------------------+

Ho scoperto che era possibile ridurre in qualche modo la discrepanza temporale abilitando il flag di traccia 610 .

Ciò ha avuto l'effetto di ridurre la quantità di registrazione sostanzialmente per gli inserti successivi (scorrimento da 350 MB a 103 MB in quanto non più registra i singoli valori di riga inseriti) ma questo aveva solo un modesto miglioramento in tempi per il 2 e successive @table, #tablecasi e il divario rimane ancora. Il flag di traccia ha migliorato significativamente le prestazioni generali degli inserti negli altri due tipi di tabella.

+--------+--------+---------+-------------------+
| @table | #table | ##table | [permanent_table] |
+--------+--------+---------+-------------------+
|   2663 |   2670 |    5403 |              5426 |
|   5390 |   5396 |    5410 |              5403 |
|   5373 |   5390 |    5410 |              5403 |
|   5393 |   5410 |    5406 |              5433 |
|   5386 |   5396 |    5390 |              5420 |
+--------+--------+---------+-------------------+

Guardando nel registro delle transazioni ho notato che gli inserimenti iniziali rispetto a tabelle temporanee locali vuote sembrano ancora più minimamente registrati (a 96 MB).

In particolare, questi inserti più veloci avevano solo 657transazioni ( LOP_BEGIN_XACT/ LOP_COMMIT_XACTcoppie) rispetto a over 10,000nei casi più lenti. In particolare le LOP_FORMAT_PAGEoperazioni sembrano molto ridotte. I casi più lenti hanno una voce del registro delle transazioni per questo per ogni pagina della tabella (circa 10,270) rispetto solo a 4tali voci nel caso veloce.

Il registro utilizzato in tutti e tre i casi era il seguente (ho eliminato i record del registro per gli aggiornamenti delle tabelle di base del sistema per ridurre la quantità di testo ma sono ancora inclusi nei totali)

Registrazione del primo inserimento contro @table_var(96,5 MB)

+-----------------------+----------+----------------------------------------------+---------------+---------+
|       Operation       | Context  |                AllocUnitName                 | Size in Bytes |   Cnt   |
+-----------------------+----------+----------------------------------------------+---------------+---------+
| LOP_BEGIN_XACT        | LCX_NULL | NULL                                         |         83876 |     658 |
| LOP_COMMIT_XACT       | LCX_NULL | NULL                                         |         34164 |     657 |
| LOP_CREATE_ALLOCCHAIN | LCX_NULL | NULL                                         |           120 |       3 |
| LOP_FORMAT_PAGE       | LCX_HEAP | dbo.#531856C7                                |            84 |       1 |
| LOP_FORMAT_PAGE       | LCX_IAM  | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |            84 |       1 |
| LOP_FORMAT_PAGE       | LCX_IAM  | dbo.#531856C7                                |            84 |       1 |
| LOP_FORMAT_PAGE       | LCX_IAM  | Unknown Alloc Unit                           |            84 |       1 |
| LOP_HOBT_DDL          | LCX_NULL | NULL                                         |           216 |       6 |
| LOP_HOBT_DELTA        | LCX_NULL | NULL                                         |           320 |       5 |
| LOP_IDENT_NEWVAL      | LCX_NULL | NULL                                         |     100240000 | 2506000 |
| LOP_INSERT_ROWS       | LCX_HEAP | dbo.#531856C7                                |            72 |       1 |
| LOP_MODIFY_ROW        | LCX_IAM  | dbo.#531856C7                                |            88 |       1 |
| LOP_MODIFY_ROW        | LCX_PFS  | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |        158592 |    1848 |
| LOP_MODIFY_ROW        | LCX_PFS  | dbo.#531856C7                                |            80 |       1 |
| LOP_MODIFY_ROW        | LCX_PFS  | Unknown Alloc Unit                           |        216016 |    2455 |
| LOP_SET_BITS          | LCX_GAM  | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |         84360 |    1406 |
| LOP_SET_BITS          | LCX_GAM  | Unknown Alloc Unit                           |        147120 |    2452 |
| LOP_SET_BITS          | LCX_IAM  | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |         84360 |    1406 |
| LOP_SET_BITS          | LCX_IAM  | Unknown Alloc Unit                           |        147120 |    2452 |
| Total                 | NULL     | NULL                                         |     101209792 | 2519475 |
+-----------------------+----------+----------------------------------------------+---------------+---------+

Registrazione degli inserti successivi TF 610 off (350 MB)

+-----------------------+--------------------+----------------------------------------------+---------------+---------+
|       Operation       |      Context       |                AllocUnitName                 | Size in Bytes |   Cnt   |
+-----------------------+--------------------+----------------------------------------------+---------------+---------+
| LOP_BEGIN_CKPT        | LCX_NULL           | NULL                                         |            96 |       1 |
| LOP_BEGIN_XACT        | LCX_NULL           | NULL                                         |       1520696 |   12521 |
| LOP_COMMIT_XACT       | LCX_NULL           | NULL                                         |        651040 |   12520 |
| LOP_CREATE_ALLOCCHAIN | LCX_NULL           | NULL                                         |            40 |       1 |
| LOP_DELETE_SPLIT      | LCX_INDEX_INTERIOR | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |          2160 |      36 |
| LOP_END_CKPT          | LCX_NULL           | NULL                                         |           136 |       1 |
| LOP_FORMAT_PAGE       | LCX_HEAP           | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |        859236 |   10229 |
| LOP_FORMAT_PAGE       | LCX_IAM            | Unknown Alloc Unit                           |            84 |       1 |
| LOP_FORMAT_PAGE       | LCX_INDEX_INTERIOR | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |          3108 |      37 |
| LOP_HOBT_DDL          | LCX_NULL           | NULL                                         |           648 |      18 |
| LOP_HOBT_DELTA        | LCX_NULL           | NULL                                         |        657088 |   10267 |
| LOP_IDENT_NEWVAL      | LCX_NULL           | NULL                                         |     100239960 | 2505999 |
| LOP_INSERT_ROWS       | LCX_CLUSTERED      | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |     258628000 | 2506000 |
| LOP_INSERT_ROWS       | LCX_HEAP           | dbo.#531856C7                                |            72 |       1 |
| LOP_INSERT_ROWS       | LCX_INDEX_INTERIOR | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |       1042776 |   10302 |
| LOP_MODIFY_HEADER     | LCX_HEAP           | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |        859236 |   10229 |
| LOP_MODIFY_HEADER     | LCX_INDEX_INTERIOR | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |          3192 |      38 |
| LOP_MODIFY_ROW        | LCX_IAM            | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |           704 |       8 |
| LOP_MODIFY_ROW        | LCX_PFS            | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |        934264 |   11550 |
| LOP_MODIFY_ROW        | LCX_PFS            | Unknown Alloc Unit                           |        783984 |    8909 |
| LOP_SET_BITS          | LCX_GAM            | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |         76980 |    1283 |
| LOP_SET_BITS          | LCX_GAM            | Unknown Alloc Unit                           |        534480 |    8908 |
| LOP_SET_BITS          | LCX_IAM            | dbo.#4F47C5E3.PK__#4F47C5E__3213E83F51300E55 |         76980 |    1283 |
| LOP_SET_BITS          | LCX_IAM            | Unknown Alloc Unit                           |        534480 |    8908 |
| LOP_SHRINK_NOOP       | LCX_NULL           | NULL                                         |            32 |       1 |
| LOP_XACT_CKPT         | LCX_NULL           | NULL                                         |            92 |       1 |
| Total                 | NULL               | NULL                                         |     367438748 | 5119297 |
+-----------------------+--------------------+----------------------------------------------+---------------+---------+

Registrazione degli inserti successivi TF 610 su (103 MB)

+-------------------------+-------------------------+----------------------------------------------+---------------+---------+
|        Operation        |         Context         |                AllocUnitName                 | Size in Bytes |   Cnt   |
+-------------------------+-------------------------+----------------------------------------------+---------------+---------+
| LOP_BEGIN_CKPT          | LCX_NULL                | NULL                                         |           192 |       2 |
| LOP_BEGIN_XACT          | LCX_NULL                | NULL                                         |       1339796 |   11099 |
| LOP_BULK_EXT_ALLOCATION | LCX_NULL                | NULL                                         |         20616 |     162 |
| LOP_COMMIT_XACT         | LCX_NULL                | NULL                                         |        577096 |   11098 |
| LOP_CREATE_ALLOCCHAIN   | LCX_NULL                | NULL                                         |            40 |       1 |
| LOP_DELETE_SPLIT        | LCX_INDEX_INTERIOR      | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |          2160 |      36 |
| LOP_END_CKPT            | LCX_NULL                | NULL                                         |           272 |       2 |
| LOP_FORMAT_PAGE         | LCX_BULK_OPERATION_PAGE | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |        863520 |   10280 |
| LOP_FORMAT_PAGE         | LCX_IAM                 | Unknown Alloc Unit                           |            84 |       1 |
| LOP_FORMAT_PAGE         | LCX_INDEX_INTERIOR      | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |          3108 |      37 |
| LOP_HOBT_DELTA          | LCX_NULL                | NULL                                         |        666496 |   10414 |
| LOP_IDENT_NEWVAL        | LCX_NULL                | NULL                                         |     100239960 | 2505999 |
| LOP_INSERT_ROWS         | LCX_CLUSTERED           | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |         23544 |     218 |
| LOP_INSERT_ROWS         | LCX_HEAP                | dbo.#719CDDE7                                |            72 |       1 |
| LOP_INSERT_ROWS         | LCX_INDEX_INTERIOR      | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |       1042776 |   10302 |
| LOP_MODIFY_HEADER       | LCX_BULK_OPERATION_PAGE | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |        780216 |   10266 |
| LOP_MODIFY_HEADER       | LCX_HEAP                | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |       1718472 |   20458 |
| LOP_MODIFY_HEADER       | LCX_INDEX_INTERIOR      | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |          3192 |      38 |
| LOP_MODIFY_ROW          | LCX_IAM                 | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |           704 |       8 |
| LOP_MODIFY_ROW          | LCX_PFS                 | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |        114832 |    1307 |
| LOP_MODIFY_ROW          | LCX_PFS                 | Unknown Alloc Unit                           |        231696 |    2633 |
| LOP_RANGE_INSERT        | LCX_NULL                | NULL                                         |            48 |       1 |
| LOP_SET_BITS            | LCX_GAM                 | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |         77100 |    1285 |
| LOP_SET_BITS            | LCX_GAM                 | Unknown Alloc Unit                           |        157920 |    2632 |
| LOP_SET_BITS            | LCX_IAM                 | dbo.#6DCC4D03.PK__#6DCC4D0__3213E83F6FB49575 |         77100 |    1285 |
| LOP_SET_BITS            | LCX_IAM                 | Unknown Alloc Unit                           |        157920 |    2632 |
| LOP_XACT_CKPT           | LCX_NULL                | NULL                                         |            92 |       1 |
| Total                   | NULL                    | NULL                                         |     108102960 | 2602218 |
+-------------------------+-------------------------+----------------------------------------------+---------------+---------+
— Martin Smith
fonte
Grazie per la conferma dettagliata. Quindi la domanda è ancora chiara, perché DELETE non sta riportando la tabella a veramente vuota, usando il termine. Inoltre, ciò sosterrebbe l'uso delle tabelle #temp se clear / populate viene utilizzato in un ciclo di elaborazione batch.
— 孔夫子
1
@RichardTheKiwi - Anche il vantaggio di TRUNCATEover DELETEda solo sosterrebbe questo. Raramente prenderei in considerazione anche le variabili di tabella per un gran numero di righe.
— Martin Smith,
Sembrerà pigro, ma ripetere un inserto da 1 a 10 record (variabile) 1000 volte in un batch mostrerebbe gli stessi sintomi? L'uso di un gran numero di righe è solo per aggravare il problema e fornire una scala per vedere meglio la differenza. L'essenza della domanda è dimostrare in un modo o nell'altro che le tabelle #temp sarebbero migliori, una volta che sappiamo qual è la differenza.
— 孔夫子
Bene, la mia teoria è che è l'allocazione delle 10,000+pagine che avviene in un modo molto più ottimizzato e sembra evitare un certo sovraccarico per pagina. Per inserti più piccoli mi aspetto che tale differenza sia meno significativa.
— Martin Smith,
@RichardTheKiwi - Grazie! Probabilmente c'è altro da dire su questo. Come proverò ad aggiornare alla stessa versione di SQL Kiwi e vedrò se vedo ancora i diversi percorsi del codice. Se è così forse dipende dall'hardware che fa una tale differenza (i miei test sono stati sul mio PC desktop con tutti i dati e i file di registro sullo stesso SSD)
— Martin Smith,
0

Osservazione e speculazione. . .

Su alcuni sistemi, CURRENT_TIMESTAMP è definito come l'ora all'inizio della transazione corrente. Una rapida ricerca non ha prodotto alcuna documentazione definitiva sul comportamento di CURRENT_TIMESTAMP su SQL Server. Ma la modalità predefinita di SQL Server è di inserire automaticamente le transazioni e qui non c'è INIZIO TRANSAZIONE, quindi dovrebbe essere il momento immediatamente precedente l'istruzione INSERT. (L'istruzione DELETE dovrebbe eseguire il commit automatico e, indipendentemente dal modo in cui CURRENT_TIMESTAMP funziona su SQL Server, non dovrebbe avere nulla a che fare con l'istruzione DELETE quando si utilizzano transazioni con commit automatico.)

Alla prima iterazione, l'istruzione DELETE non ha alcun vero lavoro da fare e non ci sono singole righe da registrare. Forse l'ottimizzatore lo sa, e questo sta riducendo il tempo per la prima iterazione. (La combinazione di nessuna riga da eliminare e nessuna singola riga da registrare.)

Potresti testarlo (penso) inserendolo prima di eliminarlo.

— Mike Sherrill 'Cat Recall'
fonte
Oggi smetterò di rispondere alle domande. O qualunque cosa stia facendo quando scrivo cose in quella casella.
— Mike Sherrill "Cat Recall",
Questa risposta dovrebbe essere eliminata come obsoleta, tangenziale e distraente?
— 孔夫子
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.