Conversione di Django QuerySet in panda DataFrame

Vado a convertire un Django QuerySet in un panda DataFramecome segue:

qs = SomeModel.objects.select_related().filter(date__year=2012)
q = qs.values('date', 'OtherField')
df = pd.DataFrame.from_records(q)

Funziona, ma esiste un modo più efficiente?

import pandas as pd
import datetime
from myapp.models import BlogPost

df = pd.DataFrame(list(BlogPost.objects.all().values()))
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values()))

# limit which fields
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug')))

Quanto sopra è come faccio la stessa cosa. L'aggiunta più utile è specificare i campi a cui sei interessato. Se è solo un sottoinsieme dei campi disponibili a cui sei interessato, immagino che questo darebbe un aumento delle prestazioni.

Django Pandas risolve questo problema piuttosto ordinatamente: https://github.com/chrisdev/django-pandas/

Dal README:

class MyModel(models.Model):
    full_name = models.CharField(max_length=25)
    age = models.IntegerField()
    department = models.CharField(max_length=3)
    wage = models.FloatField()

from django_pandas.io import read_frame
qs = MyModel.objects.all()
df = read_frame(qs)

Converti il ​​set di query su values_list () sarà più efficiente in termini di memoria rispetto a values ​​() direttamente. Poiché il metodo values ​​() restituisce un set di query di elenco di dict (chiave: coppie di valori), values_list () restituisce solo l'elenco di tuple (dati puri). Risparmierà circa il 50% di memoria, è sufficiente impostare le informazioni sulla colonna quando si chiama pd.DataFrame ().

Metodo 1:
    queryset = models.xxx.objects.values ​​("A", "B", "C", "D")
    df = pd.DataFrame (list (queryset)) ## consuma molta memoria
    #df = pd.DataFrame.from_records (queryset) ## funziona ma non cambia molto sull'utilizzo della memoria

Metodo 2:
    queryset = models.xxx.objects.values_list ("A", "B", "C", "D")
    df = pd.DataFrame (list (queryset), columns = ["A", "B", "C", "D"]) ## questo farà risparmiare il 50% di memoria
    #df = pd.DataFrame.from_records (queryset, columns = ["A", "B", "C", "D"]) ## Non funziona. Se si è verificato un arresto anomalo con il tipo di dati, il set di query non è l'elenco.

L'ho testato sul mio progetto con> 1 milione di righe di dati, il picco di memoria è stato ridotto da 2G a 1G.

Dal punto di vista di Django (non ho familiarità con pandas) questo va bene. La mia unica preoccupazione è che se hai un numero molto elevato di record, potresti incorrere in problemi di memoria. Se così fosse, sarebbe necessario qualcosa sulla falsariga di questo iteratore queryset efficiente in termini di memoria . (Lo snippet così come è scritto potrebbe richiedere una riscrittura per consentirne un uso intelligente .values()).

Forse puoi usare model_to_dict

import datetime
from django.forms import model_to_dict
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs)
df.head()