Perché str.translate è molto più veloce in Python 3.5 rispetto a Python 3.4?

Stavo cercando di rimuovere i caratteri indesiderati da una determinata stringa utilizzando text.translate()in Python 3.4.

Il codice minimo è:

import sys 
s = 'abcde12345@#@$#%$'
mapper = dict.fromkeys(i for i in range(sys.maxunicode) if chr(i) in '@#$')
print(s.translate(mapper))

Funziona come previsto. Tuttavia lo stesso programma quando viene eseguito in Python 3.4 e Python 3.5 dà una grande differenza.

Il codice per calcolare i tempi è

python3 -m timeit -s "import sys;s = 'abcde12345@#@$#%$'*1000 ; mapper = dict.fromkeys(i for i in range(sys.maxunicode) if chr(i) in '@#$'); "   "s.translate(mapper)"

Il programma Python 3.4 richiede 1.3ms mentre lo stesso programma in Python 3.5 richiede solo 26.4μs .

Cosa è migliorato in Python 3.5 che lo rende più veloce rispetto a Python 3.4?

TL; DR - NUMERO 21118

La lunga storia

Josh Rosenberg ha scoperto che la str.translate()funzione è molto lenta rispetto a bytes.translate, ha sollevato un problema , affermando che:

In Python 3, di str.translate()solito è una pessimizzazione delle prestazioni, non un'ottimizzazione.

Perché era str.translate()lento?

La ragione principale per str.translate()essere molto lenti era che la ricerca era in un dizionario Python.

L'uso di maketransha peggiorato questo problema. L'approccio simile che utilizza bytescrea un array C di 256 elementi per una rapida ricerca nella tabella. Quindi l'uso di Python di livello superiore dictrende str.translate()molto lento in Python 3.4.

Cos'è successo ora?

Il primo approccio è stato quello di aggiungere una piccola patch, translate_writer , tuttavia l'aumento di velocità non è stato così piacevole. Presto è stata testata un'altra patch fast_translate che ha prodotto ottimi risultati con un aumento di velocità fino al 55%.

Il cambiamento principale, come si può vedere dal file, è che la ricerca nel dizionario Python viene modificata in una ricerca di livello C.

Le velocità ora sono quasi le stesse di bytes

                                unpatched           patched

str.translate                   4.55125927699919    0.7898181750006188
str.translate from bytes trans  1.8910855210015143  0.779950579000797

Una piccola nota qui è che il miglioramento delle prestazioni è prominente solo nelle stringhe ASCII.

Come menzionato da JFSebastian in un commento sotto, prima della 3.5, la traduzione funzionava allo stesso modo sia per i casi ASCII che per quelli non ASCII. Tuttavia da 3.5 ASCII case è molto più veloce.

Precedenti ASCII vs non ASCII erano quasi gli stessi, tuttavia ora possiamo vedere un grande cambiamento nelle prestazioni.

Può essere un miglioramento da 71,6μs a 2,33μs come si vede in questa risposta .

Il codice seguente lo dimostra

python3.5 -m timeit -s "text = 'mJssissippi'*100; d=dict(J='i')" "text.translate(d)"
100000 loops, best of 3: 2.3 usec per loop
python3.5 -m timeit -s "text = 'm\U0001F602ssissippi'*100; d={'\U0001F602': 'i'}" "text.translate(d)"
10000 loops, best of 3: 117 usec per loop

python3 -m timeit -s "text = 'm\U0001F602ssissippi'*100; d={'\U0001F602': 'i'}" "text.translate(d)"
10000 loops, best of 3: 91.2 usec per loop
python3 -m timeit -s "text = 'mJssissippi'*100; d=dict(J='i')" "text.translate(d)"
10000 loops, best of 3: 101 usec per loop

Tabulazione dei risultati:

         Python 3.4    Python 3.5  
Ascii     91.2          2.3 
Unicode   101           117