Un COMMIT funziona all'interno di una funzione anonima plgpsql in PostgreSQL 9.5?

Sto importando un gran numero di file di grandi dimensioni in un numero di tabelle da partizionare usando loop all'interno di un blocco di codice plpgsql anonimo $do$.

$do$
BEGIN
    FOR yyyy in 2012..2016 THEN 
        EXECUTE $$COPY table$$||yyyy||$$ FROM 'E:\data\file$$||yyyy||$$.csv DELIMITER ',' CSV;$$;
    END LOOP;
END;
$do$ LANGUAGE plpgsql

L'intero processo dovrebbe richiedere circa 15 ore e spero che tutte le importazioni non vengano ripristinate in caso di errore di importazione a un certo punto.

IIRC COMMITnon funziona con le funzioni memorizzate perché l'intera funzione viene trattata come una singola transazione.

Dalla documentazione per$do$

Il blocco di codice viene trattato come se fosse il corpo di una funzione senza parametri, restituendo vuoto. Viene analizzato ed eseguito una sola volta.

Suppongo che questo significhi che l'intera $do$è una transazione, quindi i commit all'interno del blocco non funzioneranno. Ho ragione?

No,

Non puoi controllare una transazione all'interno di una plpgsqlfunzione (o blocco anonimo).

L'unica opzione che hai è la creazione di una transazione al di fuori del blocco, ad esempio:

BEGIN;

DO $$
  -- function stuff

  -- but if you use a exception, you will force a rollback
  RAISE EXCEPTION 'message';
$$ LANGUAGE 'plpgsql';

COMMIT; -- OR ROLLBACK

A proposito, DO BLOCKShanno lo stesso effetto che funziona chi ritorna void.

Per favore, vedi di più sul documento:

• https://www.postgresql.org/docs/current/static/sql-do.html

L'unica soluzione per eseguire il commit all'interno di blocchi (o funzioni) "DO" (per la versione Postgresql inferiore a 11) è utilizzare la connessione dblink allo stesso server ed eseguire le query lì. Ricorda solo la visibilità delle variabili e degli oggetti temporanei.

maggiori informazioni su dblink A partire da Postgresql-11 è disponibile il controllo delle transazioni dall'interno del blocco "DO" mentre "Blocco DO" non è in esecuzione all'interno di altre transazioni.