Aggiunta di meta-informazioni / metadati a DataFrame di panda

È possibile aggiungere alcune meta-informazioni / metadati a un DataFrame panda?

Ad esempio, il nome dello strumento utilizzato per misurare i dati, lo strumento responsabile, ecc.

Una soluzione alternativa sarebbe creare una colonna con quelle informazioni, ma sembra uno spreco memorizzare una singola informazione in ogni riga!

Certo, come la maggior parte degli oggetti Python, puoi allegare nuovi attributi a pandas.DataFrame:

import pandas as pd
df = pd.DataFrame([])
df.instrument_name = 'Binky'

Si noti, tuttavia, che mentre è possibile allegare attributi a un dataframe, operazioni eseguite sul dataframe (come ad esempio groupby, pivot, joino locper citarne solo alcuni) può restituire una nuova dataframe senza i metadati in allegato. Pandas non dispone ancora di un metodo affidabile per propagare i metadati allegati a DataFrames .

È possibile conservare i metadati in un file . Puoi trovare un esempio di come memorizzare i metadati in un file HDF5 qui .

A partire da panda 1.0, forse prima, ora c'è una Dataframe.attrsproprietà. È sperimentale, ma probabilmente è quello che vorrai in futuro. Per esempio:

import pandas as pd
df = pd.DataFrame([])
df.attrs['instrument_name'] = 'Binky'

Trovalo nei documenti qui .

Provandolo con to_parquete poi from_parquet, non sembra persistere, quindi assicurati di verificarlo con il tuo caso d'uso.

Mi sono imbattuto in questo problema da solo. A partire da panda 0.13, i DataFrame hanno un attributo _metadata su di essi che persiste attraverso funzioni che restituiscono nuovi DataFrame. Inoltre sembra sopravvivere alla serializzazione (ho provato solo json, ma immagino che anche hdf sia coperto).

Non proprio. Sebbene sia possibile aggiungere attributi contenenti metadati alla classe DataFrame come menzionato da @unutbu, molti metodi DataFrame restituiscono un nuovo DataFrame, quindi i metadati andrebbero persi. Se è necessario manipolare il dataframe, l'opzione migliore sarebbe racchiudere i metadati e il DataFrame in un'altra classe. Vedi questa discussione su GitHub: https://github.com/pydata/pandas/issues/2485

Attualmente esiste una richiesta pull aperta per aggiungere un oggetto MetaDataFrame, che supporterebbe meglio i metadati.

La risposta migliore per allegare attributi arbitrari all'oggetto DataFrame è buona, ma se usi un dizionario, un elenco o una tupla, verrà emesso un errore di "Pandas non consente la creazione di colonne tramite un nuovo nome di attributo". La seguente soluzione funziona per memorizzare attributi arbitrari.

from types import SimpleNamespace
df = pd.DataFrame()
df.meta = SimpleNamespace()
df.meta.foo = [1,2,3]

Come accennato in altre risposte e commenti, _metadatanon fa parte dell'API pubblica, quindi non è sicuramente una buona idea usarlo in un ambiente di produzione. Ma potresti comunque volerlo utilizzare in una prototipazione di ricerca e sostituirlo se smette di funzionare. E adesso funziona con groupby/ apply, il che è utile. Questo è un esempio (che non sono riuscito a trovare in altre risposte):

df = pd.DataFrame([1, 2, 2, 3, 3], columns=['val']) 
df.my_attribute = "my_value"
df._metadata.append('my_attribute')
df.groupby('val').apply(lambda group: group.my_attribute)

Produzione:

val
1    my_value
2    my_value
3    my_value
dtype: object

Arrivando abbastanza tardi a questo, ho pensato che potrebbe essere utile se hai bisogno di metadati per persistere su I / O. C'è un pacchetto relativamente nuovo chiamato h5io che ho usato per ottenere questo risultato.

Dovrebbe consentire di eseguire una rapida lettura / scrittura da HDF5 per alcuni formati comuni, uno dei quali è un dataframe. Quindi puoi, ad esempio, inserire un dataframe in un dizionario e includere metadati come campi nel dizionario. Per esempio:

save_dict = dict(data=my_df, name='chris', record_date='1/1/2016')
h5io.write_hdf5('path/to/file.hdf5', save_dict)
in_data = h5io.read_hdf5('path/to/file.hdf5')
df = in_data['data']
name = in_data['name']
etc...

Un'altra opzione sarebbe quella di esaminare un progetto come xray , che è più complesso in qualche modo, ma penso che ti consenta di usare i metadati ed è abbastanza facile da convertire in un DataFrame.

Come accennato da @choldgraf, ho trovato che xarray è uno strumento eccellente per allegare metadati quando si confrontano i dati e si tracciano i risultati tra diversi dataframe.

Nel mio lavoro, confrontiamo spesso i risultati di diverse revisioni del firmware e diversi scenari di test, aggiungere queste informazioni è semplice come questo:

df = pd.read_csv(meaningless_test)
metadata = {'fw': foo, 'test_name': bar, 'scenario': sc_01}
ds = xr.Dataset.from_dataframe(df)
ds.attrs = metadata

Ho cercato una soluzione e ho scoperto che il telaio dei panda ha la proprietà attrs

pd.DataFrame().attrs.update({'your_attribute' : 'value'})
frame.attrs['your_attribute']

Questo attributo si attaccherà sempre al tuo telaio ogni volta che lo passi!

Stavo riscontrando lo stesso problema e ho utilizzato una soluzione alternativa per creare un nuovo DF più piccolo da un dizionario con i metadati:

    meta = {"name": "Sample Dataframe", "Created": "19/07/2019"}
    dfMeta = pd.DataFrame.from_dict(meta, orient='index')

Questo dfMeta può quindi essere salvato insieme al tuo DF originale in pickle ecc

Vedere Salvataggio e caricamento di più oggetti nel file pickle? (Risposta di Lutz) per un'eccellente risposta sul salvataggio e il recupero di più dataframe utilizzando pickle