Incompatibilità del pickle di array intorpiditi tra Python 2 e 3

Sto cercando di caricare il set di dati MNIST collegato qui in Python 3.2 utilizzando questo programma:

import pickle
import gzip
import numpy


with gzip.open('mnist.pkl.gz', 'rb') as f:
    l = list(pickle.load(f))
    print(l)

Sfortunatamente, mi dà l'errore:

Traceback (most recent call last):
   File "mnist.py", line 7, in <module>
     train_set, valid_set, test_set = pickle.load(f)
UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614: ordinal not in range(128)

Ho quindi provato a decodificare il file decapato in Python 2.7 e ricodificarlo. Quindi, ho eseguito questo programma in Python 2.7:

import pickle
import gzip
import numpy


with gzip.open('mnist.pkl.gz', 'rb') as f:
    train_set, valid_set, test_set = pickle.load(f)

    # Printing out the three objects reveals that they are
    # all pairs containing numpy arrays.

    with gzip.open('mnistx.pkl.gz', 'wb') as g:
        pickle.dump(
            (train_set, valid_set, test_set),
            g,
            protocol=2)  # I also tried protocol 0.

Funzionava senza errori, quindi ho eseguito nuovamente questo programma in Python 3.2:

import pickle
import gzip
import numpy

# note the filename change
with gzip.open('mnistx.pkl.gz', 'rb') as f:
    l = list(pickle.load(f))
    print(l)

Tuttavia, mi ha dato lo stesso errore di prima. Come faccio a farlo funzionare?

Questo è un approccio migliore per il caricamento del set di dati MNIST.

Sembra una sorta di incompatibilità. Sta cercando di caricare un oggetto "binstring", che si presume sia ASCII, mentre in questo caso si tratta di dati binari. Se questo è un bug nel disordinatore di Python 3, o un "uso improprio" del pickler da parte di Numpy, non lo so.

Ecco una soluzione alternativa, ma non so quanto siano significativi i dati a questo punto:

import pickle
import gzip
import numpy

with open('mnist.pkl', 'rb') as f:
    u = pickle._Unpickler(f)
    u.encoding = 'latin1'
    p = u.load()
    print(p)

Disimballarlo in Python 2 e ripeterlo creerà nuovamente lo stesso problema, quindi è necessario salvarlo in un altro formato.

Se hai trovato questo errore in python3, quindi, potrebbe essere un problema di incompatibilità tra Python 2 e Python 3, per me la soluzione è stata quella loadcon latin1la codifica:

pickle.load(file, encoding='latin1')

Sembra essere un problema di incompatibilità tra Python 2 e Python 3. Ho provato a caricare il set di dati MNIST con

    train_set, valid_set, test_set = pickle.load(file, encoding='iso-8859-1')

e ha funzionato per Python 3.5.2

Sembra che ci siano alcuni problemi di compatibilità tra 2.x e 3.x dovuti al passaggio all'unicode. Il tuo file sembra essere decapato con Python 2.xe decodificarlo in 3.x potrebbe essere problematico.

Suggerirei di decomprimerlo con Python 2.xe di salvarlo in un formato che riproduca meglio le due versioni in uso.

Mi sono appena imbattuto in questo frammento. Spero che questo aiuti a chiarire il problema della compatibilità.

import sys

with gzip.open('mnist.pkl.gz', 'rb') as f:
    if sys.version_info.major > 2:
        train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
    else:
        train_set, valid_set, test_set = pickle.load(f)

Provare:

l = list(pickle.load(f, encoding='bytes')) #if you are loading image data or 
l = list(pickle.load(f, encoding='latin1')) #if you are loading text data

Dalla documentazione del pickle.loadmetodo:

Gli argomenti di parole chiave opzionali sono fix_imports, codifica ed errori, che vengono utilizzati per controllare il supporto di compatibilità per il flusso di pickle generato da Python 2.

Se fix_imports è True, pickle proverà a mappare i vecchi nomi di Python 2 ai nuovi nomi usati in Python 3.

La codifica e gli errori indicano a pickle come decodificare le istanze di stringa a 8 bit decapate da Python 2; questi sono impostati rispettivamente su "ASCII" e "rigoroso". La codifica può essere "byte" per leggere queste istanze di stringa a 8 bit come oggetti byte.

C'è il grillo che è più veloce del sottaceto e più facile. Ho provato a salvarlo e leggerlo in una discarica, ma durante la lettura ci sono stati molti problemi e ho perso un'ora e ancora non ho trovato una soluzione anche se stavo lavorando sui miei dati per creare un chatbot.

vec_xe vec_ysono matrici intorpidite:

data=[vec_x,vec_y]
hkl.dump( data, 'new_data_file.hkl' )

Quindi basta leggerlo ed eseguire le operazioni:

data2 = hkl.load( 'new_data_file.hkl' )