Geoserver con benna Amazon s3


12

Ho Apache che esegue Geoserver sulla mia istanza virtuale e mi chiedo se la directory di dati Geoserver possa puntare a un bucket Amazon S3. È possibile? In che modo ciò influisce sulle prestazioni?

Se S3 è una configurazione scadente per la directory dei dati del Geoserver, ci sono suggerimenti per aggiungere grandi quantità di dati alla mia directory dei dati del Geoserver? La directory dei dati può raggiungere fino a 100 di GB, forse di più. Dovrei semplicemente ottenere un server con un disco rigido di grandi dimensioni o connettermi a una soluzione più scalabile, come un bucket Amazon S3?


Quali sono i dati? Immagino le immagini, ma le hai piastrellate? Forse un po 'di database per la vittoria raster :-)
BradHards,

1
Se i dati sono raster e verranno letti ed elaborati per WMS interattivo S3 potrebbe essere molto lento. Suggerimenti di esperienze passate, potresti voler guardare glusterfs + EBS.
simogeo,

1
Ho interesse a utilizzare S3 come bucket di dati condivisi per una flotta di GeoServer scalabile orizzontalmente elasticamente. Sto attualmente studiando l'uso di S3Fuse per montare un file system per questo. Sarebbe bello sapere di altri successi / fallimenti in questo settore.
8bitjunkie,

Qualche esperienza in questo argomento?
geogeek,

Risposte:


10

Indicare "direttamente" un bucket S3 (ad es. Usando s3fs) è "probabilmente" una cattiva idea. ad es. /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS è quasi sicuramente il posto giusto per archiviare i dati per l'accesso da parte di GeoServer.

100 GB sono gestibili in modo molto conforme agli standard EBS. (La dimensione massima del volume è di 16 Terabyte!)

Potrei suggerire di archiviare i dati originali in S3 e quindi replicarli sulle tue istanze secondo necessità, usando gli strumenti della CLI di AWS per sincronizzare il contenuto di una cartella S3 con l'istanza locale con un singolo comando. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 è probabilmente ridondante, ma trovo che aggiunga flessibilità e convenienza.

Nota a margine: se stai pianificando di utilizzare comunque istanze multi-core di grandi dimensioni E sai che è improbabile che il volume di dati cresca in modo imprevisto E che tu sia in grado di costruire automaticamente le tue istanze, potresti effettivamente prendere in considerazione l'uso dell'archiviazione di istanze ("memoria effimera" ) poiché i tuoi dati originali saranno al sicuro in S3, puoi risparmiare sulle commissioni EBS e, in alcuni casi, l'archiviazione delle istanze può essere leggermente più veloce di EBS.


1
Questa è una risposta completa. Boundless ha alcune informazioni qui: boundlessgeo.com/2013/04/…
Alex Leith

cosa usi per lanciare i comandi AWS da pyQGIS? Processing.call? boto3 non sembra funzionare. Funziona nella shell Osgeo con python2 ma non 3 ...
Leo

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.