Come impostare un progetto Django con django-store e Amazon S3, ma con cartelle diverse per file statici e file multimediali?


92

Sto configurando un progetto Django che utilizzava il file system del server per archiviare i file statici delle app ( STATIC_ROOT) e i file caricati dall'utente ( MEDIA_ROOT).

Ora ho bisogno di ospitare tutto quel contenuto su S3 di Amazon, quindi ho creato un bucket per questo. Utilizzando django-storagescon il botobackend di archiviazione, sono riuscito a caricare le statistiche raccolte nel bucket S3:

MEDIA_ROOT = '/media/'
STATIC_ROOT = '/static/'

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = 'KEY_ID...'
AWS_SECRET_ACCESS_KEY = 'ACCESS_KEY...'
AWS_STORAGE_BUCKET_NAME = 'bucket-name'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'

Quindi, ho riscontrato un problema: MEDIA_ROOTe STATIC_ROOTnon vengono utilizzati all'interno del bucket, quindi la radice del bucket contiene sia i file statici che i percorsi caricati dall'utente.

Quindi potrei impostare:

S3_URL = 'http://s3.amazonaws.com/%s' % AWS_STORAGE_BUCKET_NAME
STATIC_URL = S3_URL + STATIC_ROOT
MEDIA_URL = 'S3_URL + MEDIA_ROOT

E usa queste impostazioni nei modelli, ma non c'è distinzione di file statici / multimediali quando li archivi in ​​S3 con django-storages.

Come si può fare?

Grazie!


8
Perché c'è solo un'impostazione per specificare il nome del bucket ( AWS_STORAGE_BUCKET_NAME), ed è quella utilizzata quando STATICFILES_STORAGEviene creata un'istanza della classe specificata in .
Armando Pérez Marqués

Risposte:


126

Penso che quanto segue dovrebbe funzionare ed essere più semplice del metodo di Mandx, sebbene sia molto simile:

Crea un s3utils.pyfile:

from storages.backends.s3boto import S3BotoStorage

StaticRootS3BotoStorage = lambda: S3BotoStorage(location='static')
MediaRootS3BotoStorage  = lambda: S3BotoStorage(location='media')

Quindi nel tuo settings.py:

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3BotoStorage'

Un esempio diverso ma correlato (che ho effettivamente testato) può essere visto nei due example_file qui .


1
Decisamente più semplice e migliore della mia versione. Anche se non l'ho testato, penso anche che funzionerà. Grazie! Sto anche controllando il tuo repository django-s3storage , sembra una soluzione molto leggera se il progetto utilizza esclusivamente S3.
Armando Pérez Marqués

1
E, se ti piacciono di più i pacchetti , controlla django-s3-folder-storage . L'ho appena trovato, non posso dire se è la stessa soluzione ma preconfezionata.
Armando Pérez Marqués

4
Questo non funziona da me, i file multimediali vengono caricati nel / del bucket s3. Sembra che l'impostazione della posizione non venga rispettata. django-store == 1.1.6, django-extensions == 1.1.1, django = 1.4
Nathan Keller

3
Per me aveva più senso avere bucket separati e non mi piace avere la configurazione al di fuori del mio modulo delle impostazioni, quindi la mia soluzione è finita per assomigliare a questo gist.github.com/antonagestam/6075199
antonagestam

1
Questa soluzione non funziona, da quello che posso dire. Questo dovrebbe essere l'approccio: gist.github.com/defrex/82680e858281d3d3e6e4
defrex

8

Attualmente sto utilizzando questo codice in un s3utilsmodulo separato :

from django.core.exceptions import SuspiciousOperation
from django.utils.encoding import force_unicode

from storages.backends.s3boto import S3BotoStorage


def safe_join(base, *paths):
    """
    A version of django.utils._os.safe_join for S3 paths.

    Joins one or more path components to the base path component intelligently.
    Returns a normalized version of the final path.

    The final path must be located inside of the base path component (otherwise
    a ValueError is raised).

    Paths outside the base path indicate a possible security sensitive operation.
    """
    from urlparse import urljoin
    base_path = force_unicode(base)
    paths = map(lambda p: force_unicode(p), paths)
    final_path = urljoin(base_path + ("/" if not base_path.endswith("/") else ""), *paths)
    # Ensure final_path starts with base_path and that the next character after
    # the final path is '/' (or nothing, in which case final_path must be
    # equal to base_path).
    base_path_len = len(base_path) - 1
    if not final_path.startswith(base_path) \
       or final_path[base_path_len:base_path_len + 1] not in ('', '/'):
        raise ValueError('the joined path is located outside of the base path'
                         ' component')
    return final_path


class StaticRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(StaticRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'static/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)


class MediaRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(MediaRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'media/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)

Quindi, nel modulo delle mie impostazioni:

DEFAULT_FILE_STORAGE = 'myproyect.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproyect.s3utils.StaticRootS3BotoStorage'

Devo ridefinire il _normalize_name()metodo privato per utilizzare una versione "fissa" della safe_join()funzione, poiché il codice originale mi dà delle SuspiciousOperationeccezioni per i percorsi legali.

Sto postando questo per considerazione, se qualcuno può dare una risposta migliore o migliorare questo, sarà molto gradito.


7

File: PROJECT_NAME / custom_storages.py

from django.conf import settings
from storages.backends.s3boto import S3BotoStorage

class StaticStorage(S3BotoStorage):
    location = settings.STATICFILES_LOCATION

class MediaStorage(S3BotoStorage):
    location = settings.MEDIAFILES_LOCATION

File: PROJECT_NAME / settings.py

STATICFILES_LOCATION = 'static'
MEDIAFILES_LOCATION = 'media'

if not DEBUG:
    STATICFILES_STORAGE = 'PROJECT_NAME.custom_storages.StaticStorage'
    DEFAULT_FILE_STORAGE = 'PROJECT_NAME.custom_storages.MediaStorage'
    AWS_ACCESS_KEY_ID = 'KEY_XXXXXXX'
    AWS_SECRET_ACCESS_KEY = 'SECRET_XXXXXXXXX'
    AWS_STORAGE_BUCKET_NAME = 'BUCKET_NAME'
    AWS_HEADERS = {'Cache-Control': 'max-age=86400',}
    AWS_QUERYSTRING_AUTH = False

E corri: python manage.py collectstatic


Se ti capita di nominare questo file storages.pyinvece di custom_storages.pyDovrai usarefrom __future__ import absolute_import
Aaron McMillin

2

Penso che la risposta sia piuttosto semplice e fatta per impostazione predefinita. Questo funziona per me su AWS Elastic Beanstalk con Django 1.6.5 e Boto 2.28.0:

STATICFILES_FINDERS = (
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
)

TEMPLATE_LOADERS = (
    'django.template.loaders.filesystem.Loader',
    'django.template.loaders.app_directories.Loader',
)

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = os.environ['AWS_ACCESS_KEY_ID']
AWS_SECRET_ACCESS_KEY = os.environ['AWS_SECRET_KEY']

Le chiavi AWS vengono passate dal file di configurazione del contenitore e non ne ho STATIC_ROOTo sono STATIC_URLimpostate affatto. Inoltre, non è necessario il s3utils.pyfile. Questi dettagli vengono gestiti automaticamente dal sistema di archiviazione. Il trucco qui è che dovevo fare riferimento a questo percorso sconosciuto nei miei modelli in modo corretto e dinamico. Per esempio:

<link rel="icon" href="{% static "img/favicon.ico" %}">

È così che indirizzo la mia favicon che risiede localmente (pre-distribuzione) in ~/Projects/my_app/project/my_app/static/img/favicon.ico.

Ovviamente ho un local_settings.pyfile separato per accedere a questa roba localmente nell'ambiente dev e ha le impostazioni STATIC e MEDIA. Ho dovuto fare molti esperimenti e leggere per trovare questa soluzione e funziona in modo coerente senza errori.

Capisco che hai bisogno della separazione statica e radice e considerando che puoi fornire un solo bucket, vorrei sottolineare che questo metodo prende tutte le cartelle nel mio ambiente locale ~/Projects/my_app/project/my_app/static/e crea una cartella nella radice del bucket (es: S3bucket / img / come nell'esempio sopra). Quindi ottieni la separazione dei file. Ad esempio potresti avere una mediacartella nella staticcartella e accedervi tramite modelli con questo:

{% static "media/" %}

Spero che aiuti. Sono venuto qui cercando la risposta e ho spinto un po 'di più per trovare una soluzione più semplice che estendere il sistema di archiviazione. Invece, ho letto la documentazione sull'uso previsto di Boto e ho scoperto che molto di ciò di cui avevo bisogno era integrato per impostazione predefinita. Saluti!


Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.