Elenca tutti i moduli che fanno parte di un pacchetto python?

C'è un modo semplice per trovare tutti i moduli che fanno parte di un pacchetto Python? Ho trovato questa vecchia discussione , che non è davvero conclusiva, ma mi piacerebbe avere una risposta definitiva prima di lanciare la mia soluzione basata su os.listdir ().

Sì, vuoi qualcosa basato su pkgutilo simile - in questo modo puoi trattare tutti i pacchetti allo stesso modo indipendentemente dal fatto che siano in uova o zip o giù di lì (dove os.listdir non aiuta).

import pkgutil

# this is the package we are inspecting -- for example 'email' from stdlib
import email

package = email
for importer, modname, ispkg in pkgutil.iter_modules(package.__path__):
    print "Found submodule %s (is a package: %s)" % (modname, ispkg)

Come importarli anche loro? Puoi semplicemente usare __import__normalmente:

import pkgutil

# this is the package we are inspecting -- for example 'email' from stdlib
import email

package = email
prefix = package.__name__ + "."
for importer, modname, ispkg in pkgutil.iter_modules(package.__path__, prefix):
    print "Found submodule %s (is a package: %s)" % (modname, ispkg)
    module = __import__(modname, fromlist="dummy")
    print "Imported", module

Lo strumento giusto per questo lavoro è pkgutil.walk_packages.

Per elencare tutti i moduli sul tuo sistema:

import pkgutil
for importer, modname, ispkg in pkgutil.walk_packages(path=None, onerror=lambda x: None):
    print(modname)

Tieni presente che walk_packages importa tutti i sottopacchetti, ma non i sottomoduli.

Se desideri elencare tutti i sottomoduli di un determinato pacchetto, puoi usare qualcosa del genere:

import pkgutil
import scipy
package=scipy
for importer, modname, ispkg in pkgutil.walk_packages(path=package.__path__,
                                                      prefix=package.__name__+'.',
                                                      onerror=lambda x: None):
    print(modname)

iter_modules elenca solo i moduli che hanno una profondità di un livello. walk_packages ottiene tutti i sottomoduli. Nel caso di scipy, ad esempio, walk_packages restituisce

scipy.stats.stats

mentre iter_modules restituisce solo

scipy.stats

La documentazione su pkgutil ( http://docs.python.org/library/pkgutil.html ) non elenca tutte le funzioni interessanti definite in /usr/lib/python2.6/pkgutil.py.

Forse questo significa che le funzioni non fanno parte dell'interfaccia "pubblica" e sono soggette a modifiche.

Tuttavia, almeno a partire da Python 2.6 (e forse le versioni precedenti?) Pkgutil viene fornito con un metodo walk_packages che passa in modo ricorsivo attraverso tutti i moduli disponibili.

Questo funziona per me:

import types

for key, obj in nltk.__dict__.iteritems():
    if type(obj) is types.ModuleType: 
        print key

Stavo cercando un modo per ricaricare tutti i sottomoduli che sto modificando dal vivo nel mio pacchetto. È una combinazione delle risposte / commenti sopra, quindi ho deciso di pubblicarlo qui come risposta piuttosto che come commento.

package=yourPackageName
import importlib
import pkgutil
for importer, modname, ispkg in pkgutil.walk_packages(path=package.__path__, prefix=package.__name__+'.', onerror=lambda x: None):
    try:
        modulesource = importlib.import_module(modname)
        reload(modulesource)
        print("reloaded: {}".format(modname))
    except Exception as e:
        print('Could not load {} {}'.format(modname, e))

Ecco un modo, dalla parte superiore della mia testa:

>>> import os
>>> filter(lambda i: type(i) == type(os), [getattr(os, j) for j in dir(os)])
[<module 'UserDict' from '/usr/lib/python2.5/UserDict.pyc'>, <module 'copy_reg' from '/usr/lib/python2.5/copy_reg.pyc'>, <module 'errno' (built-in)>, <module 'posixpath' from '/usr/lib/python2.5/posixpath.pyc'>, <module 'sys' (built-in)>]

Potrebbe certamente essere ripulito e migliorato.

EDIT: ecco una versione leggermente più carina:

>>> [m[1] for m in filter(lambda a: type(a[1]) == type(os), os.__dict__.items())]
[<module 'copy_reg' from '/usr/lib/python2.5/copy_reg.pyc'>, <module 'UserDict' from '/usr/lib/python2.5/UserDict.pyc'>, <module 'posixpath' from '/usr/lib/python2.5/posixpath.pyc'>, <module 'errno' (built-in)>, <module 'sys' (built-in)>]
>>> [m[0] for m in filter(lambda a: type(a[1]) == type(os), os.__dict__.items())]
['_copy_reg', 'UserDict', 'path', 'errno', 'sys']

NOTA: Questo troverà anche i moduli che potrebbero non essere necessariamente situati in una sottodirectory del pacchetto, se sono inseriti nel suo __init__.pyfile, quindi dipende da cosa si intende per "parte di" un pacchetto.