Stavo tentando di rispondere alla seguente domanda di StackOverflow:
Dopo aver postato una risposta un po 'ingenua, ho pensato di mettere i miei soldi dove era la mia bocca e di testare effettivamente lo scenario che stavo suggerendo, per essere sicuro di non aver inviato l'OP in una caccia all'oca selvatica. Bene, si è rivelato molto più difficile di quanto pensassi (nessuna sorpresa per nessuno, ne sono sicuro).
Ecco cosa ho provato e pensato:
Per prima cosa ho provato un TOP 1 UPDATE con un ORDER BY all'interno di una tabella derivata, usando
ROWLOCK, READPAST. Ciò ha comportato deadlock e inoltre ha elaborato gli articoli fuori servizio. Deve essere il più vicino possibile a FIFO, salvo errori che richiedono il tentativo di elaborare la stessa riga più di una volta.Ho poi provato selezionando il successivo QueueID desiderato in una variabile, utilizzando diverse combinazioni di
READPAST,UPDLOCK,HOLDLOCKeROWLOCKconservare esclusivamente la riga per l'aggiornamento da quella sessione. Tutte le varianti che ho provato soffrivano degli stessi problemi di prima e, per alcune combinazioni conREADPAST, lamentarsi:È possibile specificare il blocco READPAST solo nei livelli di isolamento READ COMMITTED o REPEATABLE READ.
Questo era confuso perché era LEGATO IMPEGNATO. L'ho già incontrato prima ed è frustrante.
Da quando ho iniziato a scrivere questa domanda, Remus Rusani ha pubblicato una nuova risposta alla domanda. Ho letto il suo articolo collegato e vedo che sta usando letture distruttive, dal momento che ha risposto nella sua risposta che "non è realisticamente possibile aggrapparsi ai blocchi per la durata delle chiamate web". Dopo aver letto ciò che dice il suo articolo in merito a hot spot e pagine che richiedono il blocco per eseguire aggiornamenti o eliminazioni, temo che anche se fossi in grado di elaborare i blocchi corretti per fare ciò che sto cercando, non sarebbe scalabile e potrebbe non gestire una concorrenza massiccia.
In questo momento non sono sicuro dove andare. È vero che il mantenimento dei blocchi mentre la riga viene elaborata non può essere raggiunto (anche se non supporta tps elevati o concorrenza elevata)? Cosa mi sto perdendo?
Nella speranza che le persone più intelligenti di me e le persone più esperte di me possano dare una mano, di seguito è lo script di test che stavo usando. È tornato al metodo TOP 1 UPDATE ma ho lasciato l'altro metodo, commentato, nel caso volessi esplorare anche quello.
Incollare ciascuno di questi in una sessione separata, eseguire la sessione 1, quindi rapidamente tutti gli altri. In circa 50 secondi il test sarà terminato. Guarda i Messaggi di ogni sessione per vedere che lavoro ha fatto (o come ha fallito). La prima sessione mostrerà un set di righe con uno snapshot eseguito una volta al secondo in dettaglio i blocchi presenti e gli elementi della coda in fase di elaborazione. A volte funziona e altre volte non funziona affatto.
Sessione 1
/* Session 1: Setup and control - Run this session first, then immediately run all other sessions */
IF Object_ID('dbo.Queue', 'U') IS NULL
CREATE TABLE dbo.Queue (
QueueID int identity(1,1) NOT NULL,
StatusID int NOT NULL,
QueuedDate datetime CONSTRAINT DF_Queue_QueuedDate DEFAULT (GetDate()),
CONSTRAINT PK_Queue PRIMARY KEY CLUSTERED (QueuedDate, QueueID)
);
IF Object_ID('dbo.QueueHistory', 'U') IS NULL
CREATE TABLE dbo.QueueHistory (
HistoryDate datetime NOT NULL,
QueueID int NOT NULL
);
IF Object_ID('dbo.LockHistory', 'U') IS NULL
CREATE TABLE dbo.LockHistory (
HistoryDate datetime NOT NULL,
ResourceType varchar(100),
RequestMode varchar(100),
RequestStatus varchar(100),
ResourceDescription varchar(200),
ResourceAssociatedEntityID varchar(200)
);
IF Object_ID('dbo.StartTime', 'U') IS NULL
CREATE TABLE dbo.StartTime (
StartTime datetime NOT NULL
);
SET NOCOUNT ON;
IF (SELECT Count(*) FROM dbo.Queue) < 10000 BEGIN
TRUNCATE TABLE dbo.Queue;
WITH A (N) AS (SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1),
B (N) AS (SELECT 1 FROM A Z, A I, A P),
C (N) AS (SELECT Row_Number() OVER (ORDER BY (SELECT 1)) FROM B O, B W)
INSERT dbo.Queue (StatusID, QueuedDate)
SELECT 1, DateAdd(millisecond, C.N * 3, GetDate() - '00:05:00')
FROM C
WHERE C.N <= 10000;
END;
TRUNCATE TABLE dbo.StartTime;
INSERT dbo.StartTime SELECT GetDate() + '00:00:15'; -- or however long it takes you to go run the other sessions
GO
TRUNCATE TABLE dbo.QueueHistory;
SET NOCOUNT ON;
DECLARE
@Time varchar(8),
@Now datetime;
SELECT @Time = Convert(varchar(8), StartTime, 114)
FROM dbo.StartTime;
WAITFOR TIME @Time;
DECLARE @i int,
@QueueID int;
SET @i = 1;
WHILE @i <= 33 BEGIN
SET @Now = GetDate();
INSERT dbo.QueueHistory
SELECT
@Now,
QueueID
FROM
dbo.Queue Q WITH (NOLOCK)
WHERE
Q.StatusID <> 1;
INSERT dbo.LockHistory
SELECT
@Now,
L.resource_type,
L.request_mode,
L.request_status,
L.resource_description,
L.resource_associated_entity_id
FROM
sys.dm_tran_current_transaction T
INNER JOIN sys.dm_tran_locks L
ON L.request_owner_id = T.transaction_id;
WAITFOR DELAY '00:00:01';
SET @i = @i + 1;
END;
WITH Cols AS (
SELECT *, Row_Number() OVER (PARTITION BY HistoryDate ORDER BY QueueID) Col
FROM dbo.QueueHistory
), P AS (
SELECT *
FROM
Cols
PIVOT (Max(QueueID) FOR Col IN ([1], [2], [3], [4], [5], [6], [7], [8])) P
)
SELECT L.*, P.[1], P.[2], P.[3], P.[4], P.[5], P.[6], P.[7], P.[8]
FROM
dbo.LockHistory L
FULL JOIN P
ON L.HistoryDate = P.HistoryDate
/* Clean up afterward
DROP TABLE dbo.StartTime;
DROP TABLE dbo.LockHistory;
DROP TABLE dbo.QueueHistory;
DROP TABLE dbo.Queue;
*/Sessione 2
/* Session 2: Simulate an application instance holding a row locked for a long period, and eventually abandoning it. */
SET TRANSACTION ISOLATION LEVEL READ COMMITTED;
SET NOCOUNT ON;
SET XACT_ABORT ON;
DECLARE
@QueueID int,
@Time varchar(8);
SELECT @Time = Convert(varchar(8), StartTime + '0:00:01', 114)
FROM dbo.StartTime;
WAITFOR TIME @Time;
BEGIN TRAN;
--SET @QueueID = (
-- SELECT TOP 1 QueueID
-- FROM dbo.Queue WITH (READPAST, UPDLOCK)
-- WHERE StatusID = 1 -- ready
-- ORDER BY QueuedDate, QueueID
--);
--UPDATE dbo.Queue
--SET StatusID = 2 -- in process
----OUTPUT Inserted.*
--WHERE QueueID = @QueueID;
SET @QueueID = NULL;
UPDATE Q
SET Q.StatusID = 1, @QueueID = Q.QueueID
FROM (
SELECT TOP 1 *
FROM dbo.Queue WITH (ROWLOCK, READPAST)
WHERE StatusID = 1
ORDER BY QueuedDate, QueueID
) Q
PRINT @QueueID;
WAITFOR DELAY '00:00:20'; -- Release it partway through the test
ROLLBACK TRAN; -- Simulate client disconnectingSessione 3
/* Session 3: Run a near-continuous series of "failed" queue processing. */
SET TRANSACTION ISOLATION LEVEL READ COMMITTED;
SET XACT_ABORT ON;
SET NOCOUNT ON;
DECLARE
@QueueID int,
@EndDate datetime,
@NextDate datetime,
@Time varchar(8);
SELECT
@EndDate = StartTime + '0:00:33',
@Time = Convert(varchar(8), StartTime, 114)
FROM dbo.StartTime;
WAITFOR TIME @Time;
WHILE GetDate() < @EndDate BEGIN
BEGIN TRAN;
--SET @QueueID = (
-- SELECT TOP 1 QueueID
-- FROM dbo.Queue WITH (READPAST, UPDLOCK)
-- WHERE StatusID = 1 -- ready
-- ORDER BY QueuedDate, QueueID
--);
--UPDATE dbo.Queue
--SET StatusID = 2 -- in process
----OUTPUT Inserted.*
--WHERE QueueID = @QueueID;
SET @QueueID = NULL;
UPDATE Q
SET Q.StatusID = 1, @QueueID = Q.QueueID
FROM (
SELECT TOP 1 *
FROM dbo.Queue WITH (ROWLOCK, READPAST)
WHERE StatusID = 1
ORDER BY QueuedDate, QueueID
) Q
PRINT @QueueID;
SET @NextDate = GetDate() + '00:00:00.015';
WHILE GetDate() < @NextDate SET NOCOUNT ON;
ROLLBACK TRAN;
ENDSessione 4 e successive: quante ne vuoi
/* Session 4: "Process" the queue normally, one every second for 30 seconds. */
SET TRANSACTION ISOLATION LEVEL READ COMMITTED;
SET XACT_ABORT ON;
SET NOCOUNT ON;
DECLARE @Time varchar(8);
SELECT @Time = Convert(varchar(8), StartTime, 114)
FROM dbo.StartTime;
WAITFOR TIME @Time;
DECLARE @i int,
@QueueID int;
SET @i = 1;
WHILE @i <= 30 BEGIN
BEGIN TRAN;
--SET @QueueID = (
-- SELECT TOP 1 QueueID
-- FROM dbo.Queue WITH (READPAST, UPDLOCK)
-- WHERE StatusID = 1 -- ready
-- ORDER BY QueuedDate, QueueID
--);
--UPDATE dbo.Queue
--SET StatusID = 2 -- in process
--WHERE QueueID = @QueueID;
SET @QueueID = NULL;
UPDATE Q
SET Q.StatusID = 1, @QueueID = Q.QueueID
FROM (
SELECT TOP 1 *
FROM dbo.Queue WITH (ROWLOCK, READPAST)
WHERE StatusID = 1
ORDER BY QueuedDate, QueueID
) Q
PRINT @QueueID;
WAITFOR DELAY '00:00:01'
SET @i = @i + 1;
DELETE dbo.Queue
WHERE QueueID = @QueueID;
COMMIT TRAN;
ENDREADPAST, UPDLOCK, ROWLOCKmio script per acquisire dati nella tabella QueueHistory non si fa nulla. Mi chiedo se questo perché StatusID non è stato eseguito il commit? Sta usando WITH (NOLOCK)così teoricamente dovrebbe funzionare ... e ha funzionato prima! Non sono sicuro del perché non funzioni ora, ma probabilmente è un'altra esperienza di apprendimento.