Ricarica sottomoduli in IPython

Attualmente sto lavorando a un progetto Python che contiene sottomoduli e utilizza numpy / scipy. Ipython è usato come console interattiva. Purtroppo non sono molto contento del flusso di lavoro che sto usando in questo momento, apprezzerei alcuni consigli.

In IPython, il framework viene caricato da un semplice importcomando. Tuttavia, è spesso necessario modificare il codice in uno dei sottomoduli del framework. A questo punto un modello è già caricato e utilizzo IPython per interagire con esso.

Ora, il framework contiene molti moduli che dipendono l'uno dall'altro, cioè quando il framework viene inizialmente caricato il modulo principale sta importando e configurando i sottomoduli. Le modifiche al codice vengono eseguite solo se il modulo viene ricaricato utilizzando reload(main_mod.sub_mod). Questo è complicato poiché devo ricaricare tutti i moduli modificati individualmente usando il percorso completo. Sarebbe molto conveniente reload(main_module)ricaricare anche tutti i moduli secondari, ma senza ricaricare numpy / scipy.

IPython viene fornito con un po ' di magia di ricarica automatica :

%load_ext autoreload
%autoreload 2

Ricaricherà tutti i moduli modificati ogni volta prima di eseguire una nuova linea. Il modo in cui funziona è leggermente diverso da dreload. Si applicano alcuni avvertimenti, digitare %autoreload?per vedere cosa può andare storto.

Se si desidera abilitare sempre queste impostazioni, modificare il file di configurazione di IPython ~/.ipython/profile_default/ipython_config.py[1] e aggiungere:

c.InteractiveShellApp.extensions = ['autoreload']     
c.InteractiveShellApp.exec_lines = ['%autoreload 2']

Ringraziamo @Kos tramite un commento qui sotto.

[1] Se non hai il file ~/.ipython/profile_default/ipython_config.py, devi ipython profile createprima chiamare . Oppure il file può trovarsi in $IPYTHONDIR.

In IPython 0.12 (e possibilmente in precedenza), puoi usare questo:

%load_ext autoreload
%autoreload 2

Questa è essenzialmente la stessa della risposta di pv. , tranne per il fatto che l'estensione è stata rinominata e ora viene caricata con %load_ext.

Per qualche motivo, né %autoreload, né dreloadsembra funzionare per la situazione quando si importa il codice da un notebook all'altro . reloadFunziona solo in Python :

reload(module)

Basato su [1] .

IPython offre dreload()di ricaricare ricorsivamente tutti i sottomoduli. Personalmente, preferisco usare il %run()comando magico (anche se non esegue una ricarica profonda, come sottolineato da John Salvatier nei commenti).

Il modulo denominato importlibconsente di accedere agli interni di importazione. In particolare, fornisce la funzione importlib.reload():

import importlib
importlib.reload(my_module)

Al contrario %autoreload, importlib.reload()reimpostare anche le variabili globali impostate nel modulo. Nella maggior parte dei casi, è quello che vuoi.

importlibè disponibile solo da Python 3.1. Per la versione precedente, è necessario utilizzare il modulo imp.

http://shawnleezx.github.io/blog/2015/08/03/some-notes-on-ipython-startup-script/

Per evitare di digitare ripetutamente quelle funzioni magiche, potrebbero essere inserite nello script di avvio di ipython (denominalo con il suffisso .py sotto .ipython / profilo_default / startup. Tutti gli script di Python in quella cartella verranno caricati in base all'ordine lessicale), che è simile al seguente:

from IPython import get_ipython
ipython = get_ipython()

ipython.magic("pylab")
ipython.magic("load_ext autoreload")
ipython.magic("autoreload 2")

Cosa ne pensi di questo:

import inspect

# needs to be primed with an empty set for loaded
def recursively_reload_all_submodules(module, loaded=None):
    for name in dir(module):
        member = getattr(module, name)
        if inspect.ismodule(member) and member not in loaded:
            recursively_reload_all_submodules(member, loaded)
    loaded.add(module)
    reload(module)

import mymodule
recursively_reload_all_submodules(mymodule, set())

Questo dovrebbe ricaricare efficacemente l'intero albero di moduli e sottomoduli che gli dai. Puoi anche inserire questa funzione nel tuo .ipythonrc (penso) in modo che venga caricata ogni volta che avvii l'interprete.

Un'altra opzione:

$ cat << EOF > ~/.ipython/profile_default/startup/50-autoreload.ipy
%load_ext autoreload
%autoreload 2
EOF

Verificato su ipython e ipython3 v5.1.0 su Ubuntu 14.04.

La mia pratica standard per ricaricare è combinare entrambi i metodi dopo la prima apertura di IPython:

from IPython.lib.deepreload import reload
%load_ext autoreload
%autoreload 2

Se si caricano moduli prima di farlo, si eviterà che vengano ricaricati, anche con un manuale reload(module_name). Molto raramente ho ancora problemi inspiegabili con metodi di classe che non si ricaricano e che non ho ancora esaminato.

Si noti che quanto sopra autoreloadfunziona solo in IntelliJ se si salva manualmente il file modificato (ad es. Usando ctrl + so cmd + s). Non sembra funzionare con il salvataggio automatico.

Sui quaderni di Jupyter su Anaconda, facendo questo:

%load_ext autoreload
%autoreload 2

prodotto il messaggio:

L'estensione di caricamento automatico è già caricata. Per ricaricarlo, utilizzare: %reload_ext autoreload

Sembra che sia preferibile fare:

%reload_ext autoreload
%autoreload 2

Informazioni sulla versione:

La versione del server notebook è 5.0.0 ed è in esecuzione su: Python 3.6.2 | Anaconda, Inc. | (impostazione predefinita, 20 settembre 2017, 13:35:58) [MSC v.1900 32 bit (Intel)]

Qualsiasi oggetto secondario non verrà ricaricato da questo, credo che per questo sia necessario utilizzare il deepreload di IPython.