Accelerare le query PostGIS di OpenStreetMap

Ho i dati OpenStreetMap per i Paesi Bassi caricati in un database PostGIS (PostgreSQL 8.3 / PostGIS 1.3.3) usando lo schema dell'osmosi . Ciò significa che tutti i tag sono memorizzati in un campo hstore . Oltre all'indice GIST che l'osmosi crea sul campo della geometria, ho creato un ulteriore indice GIST sul campo dei tag.

Cercando di eseguire una query utilizzando sia un vincolo spaziale che un vincolo sul campo dei tag, trovo che sia più lento di quanto vorrei. Una query come questa:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags->'man_made'='surveillance' 
  AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326));

impiega 22 secondi per restituire 78 record.

Ci sono circa 53 milioni di record in questa tabella.

C'è un modo per accelerare significativamente questo? Ho sentito che hstore è implementato significativamente meglio in PostgreSQL 9, l'aggiornamento potrebbe aiutare?

Un metodo sarebbe quello di cercare i tag che ti interessano e posizionare quei record in una nuova tabella. Quindi dovrai solo eseguire una query sulla nuova tabella anziché su tutti i 53 milioni di record. Se si sta tentando di mantenere aggiornato il database, è possibile eseguire questa query ogni volta che si ottengono nuovi dati da OSM.

Puoi provare a creare un indice per la colonna hstore,

CREATE INDEX nodes_tags_idx ON nodes USING GIST(tags)

e quindi utilizzare l' ?operatore per limitare la query solo a quelle righe:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags ? 'man_made'
  AND tags->'man_made'='surveillance' 
  AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326));

Le funzioni st_within e _st_within non sono note per la loro velocità. L'operatore && potrebbe essere di aiuto in quanto selezionerà bbox anziché geometria

Potresti provare quanto segue:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags ? 'man_made'
  AND tags->'man_made'='surveillance' 
  AND geom && ST_SetSRID('BOX3D(4 52,5 53)'::box3d,4326);

Per ulteriori suggerimenti sulle prestazioni, consultare: http://postgis.refractions.net/docs/ch06.html

Il problema con la tua query è la tags->'man_made'='surveillance'clausola. In questo modo Postgres espande i tag hstore e non gli consente di utilizzare l'indice. Se lo riscrivi usando @>(contiene), consentirà l'utilizzo dell'indice.

Poiché stai interrogando un rettangolo, puoi usare &&invece di ST_Within. Ciò avrà un piccolo guadagno, poiché ST_Within non è così complicato da valutare e ST_Within fa implicitamente un &&controllo.

Un ulteriore aumento della velocità sarebbe quello di utilizzare un indice GIN sui tag anziché un indice GIST. Gli indici GIN richiedono più tempo per essere compilati ma sono più veloci.

L'intera query sarebbe

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n INNER JOIN users AS u ON n.user_id = u.id WHERE tags @> hstore('man_made', 'surveillance') AND geom && ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326);

Se sai che eseguirai una query su un determinato tag, puoi creare un indice parziale con esso CREATE INDEX ON nodes ( tags->'man_made' ) WHERE (tags->'man_made' IS NOT NULL);.

Ciò consentirà alla condizione WHERE tags->'man_made'='surveillance'di utilizzare l'indice. Sfortunatamente, quell'indice non può aiutare le @>query e gli indici GIN o GIST non possono aiutare le tags->'foo'query, quindi devi abbinare le query agli indici che hai.

prova questo invece:

SELEZIONA n.geom, n.tags, n.tstamp, u.name DA nodi AS n INNER JOIN utenti AS u ON n.user_id = u.id DOVE tag @> 'man_made => sorveglianza' :: hstore AND ST_Within (geom , ST_GeomFromText ('POLYGON ((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))', 4326));