Un modo veloce per copiare il dizionario in Python

Ho un programma Python che funziona molto con i dizionari. Devo fare copie di dizionari migliaia di volte. Ho bisogno di una copia sia delle chiavi che dei contenuti associati. La copia verrà modificata e non deve essere collegata all'originale (ad esempio, le modifiche nella copia non devono influire sull'originale).

Le chiavi sono stringhe, i valori sono numeri interi (0/1).

Attualmente uso un modo semplice:

newDict = oldDict.copy()

La profilazione del mio codice mostra che l'operazione di copia richiede la maggior parte del tempo.

Esistono alternative più veloci al dict.copy()metodo? Quale sarebbe il più veloce?

Guardando il sorgente C per le dictoperazioni Python , puoi vedere che fanno una copia piuttosto ingenua (ma efficiente). Si riduce essenzialmente a una chiamata a PyDict_Merge:

PyDict_Merge(PyObject *a, PyObject *b, int override)

Questo esegue i controlli rapidi per cose come se sono lo stesso oggetto e se contengono oggetti. Dopodiché esegue un generoso ridimensionamento / allocazione una tantum al dict di destinazione e quindi copia gli elementi uno per uno. Non ti vedo diventare molto più veloce del built-in copy().

Apparentemente dict.copy è più veloce, come dici tu.

[utdmr@utdmr-arch ~]$ python -m timeit -s "d={1:1, 2:2, 3:3}" "new = d.copy()"
1000000 loops, best of 3: 0.238 usec per loop
[utdmr@utdmr-arch ~]$ python -m timeit -s "d={1:1, 2:2, 3:3}" "new = dict(d)"
1000000 loops, best of 3: 0.621 usec per loop
[utdmr@utdmr-arch ~]$ python -m timeit -s "from copy import copy; d={1:1, 2:2, 3:3}" "new = copy(d)"
1000000 loops, best of 3: 1.58 usec per loop

Potete fornire un esempio di codice in modo che io possa vedere come state usando copy () e in quale contesto?

Potresti usare

new = dict(old)

Ma non credo che sarà più veloce.

Mi rendo conto che questo è un vecchio thread, ma questo è un risultato elevato nei motori di ricerca per "dict copy python" e il miglior risultato per "dict copy performance", e credo che questo sia rilevante.

Da Python 3.7, newDict = oldDict.copy()è fino a 5,5 volte più veloce di prima. In particolare, in questo momento, newDict = dict(oldDict)non sembra avere questo aumento delle prestazioni.

Ci sono un po 'più di informazioni qui .

A seconda delle cose che lasci alla speculazione, potresti voler avvolgere il dizionario originale e fare una sorta di copia su scrittura.

La "copia" è quindi un dizionario che cerca cose nel dizionario "genitore", se non contiene già la chiave --- ma riempie le modifiche in sé.

Ciò presuppone che non modifichi l'originale e che le ricerche extra non costino di più.

Tuttavia, le misurazioni dipendono dalla dimensione del dizionario. Per 10000 voci copy (d) e d.copy () sono quasi la stessa cosa.

a = {b: b for b in range(10000)} 
In [5]: %timeit copy(a)
10000 loops, best of 3: 186 µs per loop
In [6]: %timeit deepcopy(a)
100 loops, best of 3: 14.1 ms per loop
In [7]: %timeit a.copy()
1000 loops, best of 3: 180 µs per loop