Come fare riferimento a percorsi relativi di risorse quando si lavora con un repository di codice

Stiamo lavorando con un repository di codici che viene distribuito su Windows e Linux, a volte in directory diverse. Come dovrebbe uno dei moduli all'interno del progetto fare riferimento a una delle risorse non Python nel progetto (file CSV, ecc.)?

Se facciamo qualcosa del tipo:

thefile=open('test.csv')

o:

thefile=open('../somedirectory/test.csv')

Funzionerà solo quando lo script viene eseguito da una directory specifica o da un sottoinsieme delle directory.

Quello che vorrei fare è qualcosa del tipo:

path=getBasePathOfProject()+'/somedirectory/test.csv'
thefile=open(path)

È possibile?

Prova a utilizzare un nome file relativo al percorso dei file corrente. Esempio per './my_file':

fn = os.path.join(os.path.dirname(__file__), 'my_file')

In Python 3.4+ puoi anche usare pathlib :

fn = pathlib.Path(__file__).parent / 'my_file'

Se stai usando gli strumenti di installazione o distribuisci (un'installazione setup.py), il modo "giusto" per accedere a queste risorse impacchettate sembra usare package_resources.

Nel tuo caso l'esempio sarebbe

import pkg_resources
my_data = pkg_resources.resource_string(__name__, "foo.dat")

Che naturalmente legge la risorsa e i dati binari letti sarebbero il valore di my_data

Se hai solo bisogno del nome file puoi anche usare

resource_filename(package_or_requirement, resource_name)

Esempio:

resource_filename("MyPackage","foo.dat")

Il vantaggio è che è garantito per funzionare anche se si tratta di una distribuzione di archivio come un uovo.

Vedi http://packages.python.org/distribute/pkg_resources.html#resourcemanager-api

In Python, i percorsi sono relativi alla directory di lavoro corrente , che nella maggior parte dei casi è la directory da cui si esegue il programma. La directory di lavoro corrente è molto probabile che non come stessi la directory del file del modulo, in modo da utilizzare un percorso relativo al file di modulo corrente è sempre una cattiva scelta.

L'uso del percorso assoluto dovrebbe essere la soluzione migliore:

import os
package_dir = os.path.dirname(os.path.abspath(__file__))
thefile = os.path.join(package_dir,'test.cvs')

Uso spesso qualcosa di simile a questo:

import os
DATA_DIR = os.path.abspath(os.path.join(os.path.dirname(__file__), 'datadir'))

# if you have more paths to set, you might want to shorten this as
here = lambda x: os.path.abspath(os.path.join(os.path.dirname(__file__), x))
DATA_DIR = here('datadir') 

pathjoin = os.path.join
# ...
# later in script
for fn in os.listdir(DATA_DIR):
    f = open(pathjoin(DATA_DIR, fn))
    # ...

La variabile

__file__

contiene il nome del file dello script in cui scrivi quel codice, quindi puoi creare percorsi relativi allo script, ma ancora scritti con percorsi assoluti. Funziona abbastanza bene per diversi motivi:

• il percorso è assoluto, ma comunque relativo
• il progetto può ancora essere distribuito in un relativo contenitore

Ma devi cercare la compatibilità della piattaforma: os.pathsep di Windows è diverso da UNIX.

import os
cwd = os.getcwd()
path = os.path.join(cwd, "my_file")
f = open(path)

Cerchi anche di normalizzare il tuo cwdutilizzo os.path.abspath(os.getcwd()). Maggiori informazioni qui .

È possibile utilizzare la __file__variabile build in . Contiene il percorso del file corrente. Vorrei implementare getBaseOfProject in un modulo nella radice del tuo progetto. Lì avrei preso parte al percorso __file__e lo avrei restituito. Questo metodo può quindi essere utilizzato ovunque nel progetto.

Sono rimasto un po 'perplesso qui. Volevo impacchettare alcuni file di risorse in un file wheel e accedervi. La confezione ha utilizzato il file manifest, ma pip install non lo stava installando a meno che non fosse una sottodirectory. Sperando che questi colpi di scena possano aiutare

├── cnn_client
│   ├── image_preprocessor.py
│   ├── __init__.py
│   ├── resources
│   │   ├── mscoco_complete_label_map.pbtxt
│   │   ├── retinanet_complete_label_map.pbtxt
│   │   └── retinanet_label_map.py
│   ├── tf_client.py

MANIFEST.in

recursive-include cnn_client/resources *

Creato un weel usando setup.py standard. pip ha installato il file della ruota. Dopo l'installazione verificato se le risorse sono installate. Loro sono

ls /usr/local/lib/python2.7/dist-packages/cnn_client/resources

mscoco_complete_label_map.pbtxt
retinanet_complete_label_map.pbtxt 
 retinanet_label_map.py  

In tfclient.py per accedere a questi file. a partire dal

templates_dir = os.path.join(os.path.dirname(__file__), 'resources')
 file_path = os.path.join(templates_dir, \
            'mscoco_complete_label_map.pbtxt')
        s = open(file_path, 'r').read()

E funziona

Ho trascorso molto tempo a capire la risposta a questo, ma alla fine l'ho ottenuta (ed è davvero molto semplice):

import sys
import os
sys.path.append(os.getcwd() + '/your/subfolder/of/choice')

# now import whatever other modules you want, both the standard ones,
# as the ones supplied in your subfolders

In questo modo il percorso relativo della tua sottocartella verrà aggiunto alle directory in cui Python può apparire. È piuttosto veloce e sporco, ma funziona come un fascino :)