Creazione di dataframe da un dizionario in cui le voci hanno lunghezze diverse

Supponiamo che io abbia un dizionario con 10 coppie chiave-valore. Ogni voce contiene un array numpy. Tuttavia, la lunghezza della matrice non è la stessa per tutti loro.

Come posso creare un dataframe in cui ogni colonna contiene una voce diversa?

Quando provo:

pd.DataFrame(my_dict)

Ottengo:

ValueError: arrays must all be the same length

Qualche modo per superare questo problema? Sono felice che i Panda utilizzino NaNper riempire quelle colonne per le voci più brevi.

In Python 3.x:

In [6]: d = dict( A = np.array([1,2]), B = np.array([1,2,3,4]) )

In [7]: pd.DataFrame(dict([ (k,pd.Series(v)) for k,v in d.items() ]))
Out[7]: 
    A  B
0   1  1
1   2  2
2 NaN  3
3 NaN  4

In Python 2.x:

sostituire d.items()con d.iteritems().

Ecco un modo semplice per farlo:

In[20]: my_dict = dict( A = np.array([1,2]), B = np.array([1,2,3,4]) )
In[21]: df = pd.DataFrame.from_dict(my_dict, orient='index')
In[22]: df
Out[22]: 
   0  1   2   3
A  1  2 NaN NaN
B  1  2   3   4
In[23]: df.transpose()
Out[23]: 
    A  B
0   1  1
1   2  2
2 NaN  3
3 NaN  4

Di seguito è riportato un modo per riordinare la sintassi, ma fare comunque essenzialmente la stessa cosa di queste altre risposte:

>>> mydict = {'one': [1,2,3], 2: [4,5,6,7], 3: 8}

>>> dict_df = pd.DataFrame({ key:pd.Series(value) for key, value in mydict.items() })

>>> dict_df

   one  2    3
0  1.0  4  8.0
1  2.0  5  NaN
2  3.0  6  NaN
3  NaN  7  NaN

Una sintassi simile esiste anche per gli elenchi:

>>> mylist = [ [1,2,3], [4,5], 6 ]

>>> list_df = pd.DataFrame([ pd.Series(value) for value in mylist ])

>>> list_df

     0    1    2
0  1.0  2.0  3.0
1  4.0  5.0  NaN
2  6.0  NaN  NaN

Un'altra sintassi per gli elenchi è:

>>> mylist = [ [1,2,3], [4,5], 6 ]

>>> list_df = pd.DataFrame({ i:pd.Series(value) for i, value in enumerate(mylist) })

>>> list_df

   0    1    2
0  1  4.0  6.0
1  2  5.0  NaN
2  3  NaN  NaN

Potrebbe inoltre essere necessario trasporre il risultato e / o modificare i tipi di dati della colonna (float, integer, ecc.).

Anche se questo non risponde direttamente alla domanda del PO. Ho trovato che questa fosse un'ottima soluzione per il mio caso quando avevo array disuguali e mi piacerebbe condividere:

dalla documentazione dei panda

In [31]: d = {'one' : Series([1., 2., 3.], index=['a', 'b', 'c']),
   ....:      'two' : Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
   ....: 

In [32]: df = DataFrame(d)

In [33]: df
Out[33]: 
   one  two
a    1    1
b    2    2
c    3    3
d  NaN    4

Puoi anche usare pd.concatinsieme axis=1a un elenco di pd.Seriesoggetti:

import pandas as pd, numpy as np

d = {'A': np.array([1,2]), 'B': np.array([1,2,3,4])}

res = pd.concat([pd.Series(v, name=k) for k, v in d.items()], axis=1)

print(res)

     A  B
0  1.0  1
1  2.0  2
2  NaN  3
3  NaN  4

Entrambe le righe seguenti funzionano perfettamente:

pd.DataFrame.from_dict(df, orient='index').transpose() #A

pd.DataFrame(dict([ (k,pd.Series(v)) for k,v in df.items() ])) #B (Better)

Ma con% timeit su Jupyter, ho un rapporto di velocità 4x per B vs A, che è abbastanza impressionante soprattutto quando si lavora con un enorme set di dati (principalmente con un gran numero di colonne / funzionalità).

Se non vuoi che venga visualizzato NaNe hai due lunghezze particolari, anche l'aggiunta di uno "spazio" in ogni cella rimanente funzionerebbe.

import pandas

long = [6, 4, 7, 3]
short = [5, 6]

for n in range(len(long) - len(short)):
    short.append(' ')

df = pd.DataFrame({'A':long, 'B':short}]
# Make sure Excel file exists in the working directory
datatoexcel = pd.ExcelWriter('example1.xlsx',engine = 'xlsxwriter')
df.to_excel(datatoexcel,sheet_name = 'Sheet1')
datatoexcel.save()

   A  B
0  6  5
1  4  6
2  7   
3  3   

Se hai più di 2 lunghezze di voci, è consigliabile creare una funzione che utilizzi un metodo simile.

pd.DataFrame ([my_dict]) andrà bene!