Come accedere in modo efficiente ai file con GDAL da un bucket S3 utilizzando VSIS3?

Pertanto, GDAL ha recentemente aggiunto una nuova funzionalità che consente la lettura casuale dei file bucket S3. Sto cercando di ritagliare le immagini GDAL da più riquadri di un'immagine senza dover scaricare l'intero file. Ho visto solo una documentazione molto scarsa su come configurare e accedere a un bucket S3 tramite GDAL e sono un po 'confuso su come iniziare? Qualcuno sarebbe abbastanza gentile da fornire un esempio / tutorial estremamente breve su come procedere per impostare il filesystem virtuale per GDAL al fine di raggiungere questo obiettivo? Punti bonus se la tua soluzione ne consente lo script tramite Python!

Per chiarire: l'abbiamo già fatto in Python. Il problema con Python è che devi scaricare l'intera immagine per farla funzionare. La versione più recente di GDAL ha il supporto per il montaggio della benna S3 in modo che se dobbiamo dire ritagliare una piccola porzione dell'immagine, possiamo operare direttamente su quella porzione più piccola. Purtroppo, dato che la funzione è stata rilasciata sul ramo stabile a gennaio, non ho trovato alcuna documentazione su di essa. Quindi la soluzione dovrebbe usare il sistema VSI3 nella versione più recente di GDAL o altrimenti utilizzare in modo intelligente il sistema per impedire all'utente di scaricare l'intera immagine su un'unità EBS per operare su di essa.

Vale a dire che la taglia verrà assegnata per rispondere che utilizza le API VSI trovate nelle versioni più recenti di GDAL in modo che non sia necessario leggere l'intero file in memoria o su disco. Inoltre, i bucket che utilizziamo non sono sempre pubblici, quindi molti dei trucchi HTTP pubblicati non funzioneranno in molte delle nostre situazioni.

Ho scoperto che quando qualcosa non è particolarmente ben documentato in GDAL, guardare attraverso i loro test può essere utile.

Il /vsis3modulo di test ha alcuni semplici esempi, sebbene non abbia alcun esempio di lettura dei blocchi.

Ho messo insieme il codice riportato di seguito in base al modulo di test, ma non sono in grado di testare poiché GDAL / vsis3 richiede credenziali e non ho un account AWS.

"""This should read from the Sentinal-2 public dataset
   More info - http://sentinel-pds.s3-website.eu-central-1.amazonaws.com"""

from osgeo import gdal
import numpy as np

# These only need to be set if they're not already in the environment,
# ~/.aws/config, or you're running on an EC2 instance with an IAM role.
gdal.SetConfigOption('AWS_REGION', 'eu-central-1')
gdal.SetConfigOption('AWS_SECRET_ACCESS_KEY', 'MY_AWS_SECRET_ACCESS_KEY')
gdal.SetConfigOption('AWS_ACCESS_KEY_ID', 'MY_AWS_ACCESS_KEY_ID')
gdal.SetConfigOption('AWS_SESSION_TOKEN', 'MY_AWS_SESSION_TOKEN')

# 'sentinel-pds' is the S3 bucket name
path = '/vsis3/sentinel-pds/tiles/10/S/DG/2015/12/7/0/B01.jp2'
ds = gdal.Open(path)

band = ds.GetRasterBand(1)

xoff, yoff, xcount, ycount = (0, 0, 10, 10)
np_array = band.ReadAsArray(xoff, yoff, xcount, ycount)

Dato che /vsis3/è implementato in GDAL puoi anche usare rasterioper leggere Windows di set di dati S3. Ciò richiede che le tue credenziali siano configurate per boto o che utilizzino il gestore della sessione AWS rasterios .

import rasterio

with rasterio.open('s3://landsat-pds/L8/139/045/LC81390452014295LGN00/LC81390452014295LGN00_B1.TIF') as ds:
    window = ds.read(window=((0, 100), (0, 100)))  # read a 100 by 100 window in the upper left corner.

Vedi anche rasterios windowed-rw e documenti VSI .

Prova a utilizzare un file XML per archiviare le informazioni WMS, maggiori dettagli sono disponibili nella documentazione GDAL WMS .

Ecco un esempio di file XML WMS per recuperare i dati dall'API Elevation di Mapzen:

<GDAL_WMS>
  <Service name="TMS">
    <ServerUrl>https://s3.amazonaws.com/elevation-tiles-prod/geotiff/${z}/${x}/${y}.tif</ServerUrl>
  </Service>
  <DataWindow>
    <UpperLeftX>-20037508.34</UpperLeftX>
    <UpperLeftY>20037508.34</UpperLeftY>
    <LowerRightX>20037508.34</LowerRightX>
    <LowerRightY>-20037508.34</LowerRightY>
    <TileLevel>14</TileLevel>
    <TileCountX>1</TileCountX>
    <TileCountY>1</TileCountY>
    <YOrigin>top</YOrigin>
  </DataWindow>
  <Projection>EPSG:3857</Projection>
  <BlockSizeX>512</BlockSizeX>
  <BlockSizeY>512</BlockSizeY>
  <BandsCount>1</BandsCount>
  <DataType>Int16</DataType>
  <ZeroBlockHttpCodes>403,404</ZeroBlockHttpCodes>
  <DataValues>
    <NoData>-32768</NoData>
  </DataValues>
  <Cache/>
</GDAL_WMS>

È quindi possibile agganciare un riquadro di selezione in questo modo:

gdalwarp -of "GTiff" -te -13648825.0817 4552130.7825 -13627575.5878 4565507.2624 mapzen_wms.xml test.tif

Non so molto sui bucket S3 ma sembra che sia un'unità di archiviazione cloud con autenticazione che utilizza i servizi REST http. cioè potrebbe essere usato come un normale punto di montaggio, con un uri associato.

Se stai cercando parti ritagliate di immagini / raster, il file deve essere in un formato appropriato.

Dai un'occhiata alla specifica TMS http://wiki.osgeo.org/wiki/Tile_Map_Service_Specification

(Forse netCDF potrebbe anche fare il trucco.)

GDAL legge e scrive anche formati TMS. Fondamentalmente è solo una struttura di directory standard con alcuni file di metadati.

Ora, il trucco è creare al volo l'URL con i parametri di estensione geografica tramite il driver TMS.

Dai un'occhiata alla documentazione del driver TMS OpenLayers: http://dev.openlayers.org/docs/files/OpenLayers/Layer/TMS-js.html Per vedere come gestisce le richieste in base a posizione, zoom ed estensioni.

Naturalmente può essere fatto in Python. È necessario prima creare l'URI "punto di montaggio" (o percorso) appropriato con viscurl (secondo la documentazione) e quindi, una volta montato, passare alla piastrella specifica in base alla specifica TMS (che è un'estensione del percorso) .