Accedi ai dati nella sottodirectory del pacchetto

Sto scrivendo un pacchetto Python con moduli che devono aprire file di dati in una ./data/sottodirectory. In questo momento ho i percorsi per i file hardcoded nelle mie classi e funzioni. Vorrei scrivere un codice più robusto che possa accedere alla sottodirectory indipendentemente da dove sia installato sul sistema dell'utente.

Ho provato una varietà di metodi, ma finora non ho avuto fortuna. Sembra che la maggior parte dei comandi della "directory corrente" restituisca la directory dell'interprete python del sistema e non la directory del modulo.

Sembra che dovrebbe essere un problema banale e comune. Eppure non riesco a capirlo. Parte del problema è che i miei file di dati non sono .pyfile, quindi non posso usare funzioni di importazione e simili.

Eventuali suggerimenti?

In questo momento la mia directory del pacchetto appare come:

/
__init__.py
module1.py
module2.py
data/   
   data.txt

Sto provando ad accedere data.txtda module*.py!

È possibile utilizzare __file__per ottenere il percorso del pacchetto, in questo modo:

import os
this_dir, this_filename = os.path.split(__file__)
DATA_PATH = os.path.join(this_dir, "data", "data.txt")
print open(DATA_PATH).read()

Il modo standard per farlo è con i pacchetti setuptools e pkg_resources.

È possibile disporre il pacchetto in base alla seguente gerarchia e configurare il file di installazione del pacchetto in modo che punti le risorse di dati, come da questo collegamento:

http://docs.python.org/distutils/setupscript.html#installing-package-data

Puoi quindi ritrovare e utilizzare quei file usando pkg_resources, come da questo link:

http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access

import pkg_resources

DATA_PATH = pkg_resources.resource_filename('<package name>', 'data/')
DB_FILE = pkg_resources.resource_filename('<package name>', 'data/sqlite.db')

Fornire una soluzione funzionante oggi. Usa sicuramente questa API per non reinventare tutte quelle ruote.

È necessario un vero nome file per il filesystem. Le uova compresse verranno estratte in una directory della cache:

from pkg_resources import resource_filename, Requirement

path_to_vik_logo = resource_filename(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Restituisce un oggetto leggibile simile a un file per la risorsa specificata; può essere un file reale, uno StringIO o un oggetto simile. Lo stream è in "modalità binaria", nel senso che qualunque byte si trovi nella risorsa verrà letto così com'è.

from pkg_resources import resource_stream, Requirement

vik_logo_as_stream = resource_stream(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Individuazione dei pacchetti e accesso alle risorse tramite pkg_resources

• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#resource-extraction
• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#basic-resource-access

Spesso non ha senso formulare una risposta che descriva in dettaglio il codice che non funziona così com'è, ma ritengo che ciò costituisca un'eccezione. Python 3.7 ha aggiunto importlib.resourcesche dovrebbe sostituire pkg_resources. Funzionerebbe per accedere ai file all'interno di pacchetti che non hanno barre nei loro nomi, ad es

foo/
    __init__.py
    module1.py
    module2.py
    data/   
       data.txt
    data2.txt

cioè si poteva accedere data2.txtpacchetto al suo interno foocon, ad esempio

importlib.resources.open_binary('foo', 'data2.txt')

ma fallirebbe con un'eccezione per

>>> importlib.resources.open_binary('foo', 'data/data.txt')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.7/importlib/resources.py", line 87, in open_binary
    resource = _normalize_path(resource)
  File "/usr/lib/python3.7/importlib/resources.py", line 61, in _normalize_path
    raise ValueError('{!r} must be only a file name'.format(path))
ValueError: 'data/data2.txt' must be only a file name

Questo non può essere risolto se non con sistemazione __init__.pyin datae quindi utilizzando come un pacchetto:

importlib.resources.open_binary('foo.data', 'data.txt')

La ragione di questo comportamento è "è di progettazione" ; ma il design potrebbe cambiare ...

Hai bisogno di un nome per l'intero modulo, ti viene dato l'albero delle directory che non elenca quel dettaglio, per me questo ha funzionato:

import pkg_resources
print(    
    pkg_resources.resource_filename(__name__, 'data/data.txt')
)

In particolare, setuptools non sembra risolvere i file in base a una corrispondenza di nome con file di dati compressi, quindi dovresti includere il data/prefisso praticamente qualunque cosa. Puoi usarlo os.path.join('data', 'data.txt)se hai bisogno di separatori di directory alternativi, ma in genere non trovo problemi di compatibilità con i separatori di directory in stile unix codificati.

Penso di aver cercato una risposta.

Faccio un modulo data_path.py, che importa negli altri miei moduli contenente:

data_path = os.path.join(os.path.dirname(__file__),'data')

E poi apro tutti i miei file con

open(os.path.join(data_path,'filename'), <param>)