Come eseguire il database di test di Django solo in memoria?

I test delle mie unità Django richiedono molto tempo per essere eseguiti, quindi sto cercando dei modi per accelerarlo. Sto pensando di installare un SSD , ma so che ha anche i suoi lati negativi. Certo, ci sono cose che potrei fare con il mio codice, ma sto cercando una soluzione strutturale. Anche l'esecuzione di un singolo test è lenta poiché il database deve essere ricostruito / migrato a sud ogni volta. Quindi ecco la mia idea ...

Dal momento che so che il database di test sarà sempre piuttosto piccolo, perché non posso semplicemente configurare il sistema per mantenere sempre l'intero database di test nella RAM? Non toccare mai il disco. Come posso configurarlo in Django? Preferirei continuare a usare MySQL poiché è quello che uso in produzione, ma se SQLite  3 o qualcos'altro lo rendono semplice, farei così.

SQLite o MySQL hanno un'opzione per funzionare interamente in memoria? Dovrebbe essere possibile configurare un disco RAM e quindi configurare il database di prova per archiviare i suoi dati lì, ma non sono sicuro di come dire a Django / MySQL di utilizzare una directory di dati diversa per un determinato database, soprattutto perché continua a essere cancellato e ricreato ogni corsa. (Sono su un Mac FWIW.)

Se imposti il ​​tuo motore di database su sqlite3 quando esegui i test, Django utilizzerà un database in memoria .

Sto usando codice come questo nel mio settings.pyper impostare il motore su sqlite durante l'esecuzione dei miei test:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

O in Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

E infine in Django 1.3 e 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(Il percorso completo per il backend non è strettamente necessario con Django 1.3, ma rende compatibile l'impostazione di forward.)

È inoltre possibile aggiungere la seguente riga, nel caso in cui si riscontrino problemi con le migrazioni del sud:

    SOUTH_TESTS_MIGRATE = False

Di solito creo un file di impostazioni separato per i test e lo uso nel comando test ad es

python manage.py test --settings=mysite.test_settings myapp

Ha due vantaggi:

1. Non devi cercare testo cercare una parola simile in sys.argv, test_settings.pysemplicemente

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

   Oppure puoi modificarlo ulteriormente in base alle tue esigenze, separando in modo pulito le impostazioni di prova dalle impostazioni di produzione.

2. Un altro vantaggio è che è possibile eseguire test con il motore di database di produzione anziché sqlite3 evitando bug sottili, quindi durante lo sviluppo dell'uso

   python manage.py test --settings=mysite.test_settings myapp

   e prima di eseguire il codice eseguire una volta

   python manage.py test myapp

   solo per essere sicuri che tutti i test stiano davvero superando.

MySQL supporta un motore di archiviazione chiamato "MEMORY", che puoi configurare nel tuo database config ( settings.py) come tale:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Nota che il motore di archiviazione MEMORY non supporta le colonne BLOB / di testo, quindi se lo stai usando django.db.models.TextFieldnon funzionerà per te.

Non posso rispondere alla tua domanda principale, ma ci sono un paio di cose che puoi fare per accelerare le cose.

Innanzitutto, assicurati che il tuo database MySQL sia impostato per utilizzare InnoDB. Quindi può utilizzare le transazioni per ripristinare lo stato del db prima di ogni test, il che nella mia esperienza ha portato a un enorme accelerazione. Puoi passare un comando init database nel tuo settings.py (sintassi Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

In secondo luogo, non è necessario eseguire le migrazioni del sud ogni volta. Impostato SOUTH_TESTS_MIGRATE = Falsein settings.py e il database verrà creato con un semplice syncdb, che sarà molto più veloce rispetto a tutte le migrazioni storiche.

Puoi fare il doppio ritocco:

• usa tabelle transazionali: lo stato iniziale dei dispositivi verrà impostato usando il rollback del database dopo ogni TestCase.
• metti la tua directory dei dati del database su ramdisk: otterrai molto per quanto riguarda la creazione del database e anche l'esecuzione dei test sarà più veloce.

Sto usando entrambi i trucchi e sono abbastanza felice.

Come configurarlo per MySQL su Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Attenzione, è solo per i test, dopo aver riavviato il database dalla memoria è perso!

Un altro approccio: avere un'altra istanza di MySQL in esecuzione in un tempfs che utilizza un disco RAM. Istruzioni in questo post del blog: velocizzare MySQL per i test in Django .

vantaggi:

• Si utilizza esattamente lo stesso database utilizzato dal server di produzione
• non è necessario modificare la configurazione mysql predefinita

Estendendo la risposta di Anurag ho semplificato il processo creando gli stessi test_settings e aggiungendo quanto segue a manage.py

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

sembra più pulito poiché sys è già stato importato e manage.py viene utilizzato solo dalla riga di comando, quindi non è necessario ingombrare le impostazioni

Usa sotto nel tuo setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'