Come migliorare le prestazioni quando si usano i cursori ArcGIS in Python con tavoli grandi?

Ho una classe caratteristica piuttosto grande in un file geodatabase (~ 4 000 000 record). Questa è una griglia di punti regolare con una risoluzione di 100 m.

Ho bisogno di eseguire una sorta di generalizzazione su questo livello. Per questo, creo una nuova griglia in cui ogni punto si trova nel mezzo di 4 punti "vecchi":

 *     *     *     *
    o     o     o
 *     *     *     *
    o     o     o
 *     *     *     *

[*] = punto della griglia originale - [o] = punto della nuova griglia

Il valore dell'attributo di ogni nuovo punto viene calcolato in base ai valori ponderati dei suoi 4 vicini nella vecchia griglia. In questo modo eseguo il ciclo su tutti i punti della mia nuova griglia e, per ciascuno di essi, eseguo il ciclo su tutti i punti della mia vecchia griglia, al fine di trovare i vicini (confrontando i valori di X e Y nella tabella degli attributi). Una volta trovati 4 vicini, usciamo dal circuito.

Non c'è complessità metodologica qui, ma il mio problema è che, sulla base dei miei primi test, questo script durerà per settimane per completare ...

Vedi qualche possibilità per renderlo più efficiente? Alcune idee in cima alla mia testa:

• Indicizza i campi X e Y => L'ho fatto ma non ho notato cambiamenti significativi nelle prestazioni
• Esegui una query spaziale per trovare i vicini anziché uno basato sugli attributi. Sarebbe davvero d'aiuto? Quale funzione spaziale in ArcGIS dovrebbe svolgere il lavoro? Dubito che, ad esempio, il buffering di ogni nuovo punto si dimostrerà più efficiente
• Trasforma la classe di caratteristiche in un array NumPy. Sarebbe d'aiuto? Finora non ho lavorato molto con NumPy e non mi piacerebbe immergermi a meno che qualcuno non mi dica che potrebbe davvero aiutare a ridurre i tempi di elaborazione
• Qualunque altra cosa?

Che cosa succede se si immettono i punti in un array intorpidito e si utilizza un cKDTree scipy per cercare i vicini. Elaborando nuvole di punti LiDAR con un gran numero di punti (> 20 milioni) in diversi MINUTI usando questa tecnica. C'è documentazione qui per kdtree e qui per la conversione numpy. Fondamentalmente, leggi la x, y in una matrice e iteri su ogni punto della matrice trovando indici di punti entro una certa distanza (vicinanza) di ogni punto. È possibile utilizzare questi indici per calcolare altri attributi.

Sono con Barbarossa ... i cursori arcpy sono follemente pazzi, quindi li uso solo per attraversare un tavolo o una classe caratteristica esattamente una volta. Se non riesco a completare il lavoro in un ciclo, utilizzo il cursore per riempire un altro tipo di struttura di dati e lavorare con quello.

Se non vuoi seccarti con numpy, crea un semplice dizionario Python in cui usi le tue coordinate come una semplice chiave di testo e inserisci gli attributi necessari per il calcolo in un elenco come valore dell'elemento del dizionario.

In un secondo momento puoi facilmente ottenere i valori necessari per calcolare un punto semplicemente acquisendoli dal tuo dizionario (che è incredibilmente veloce, a causa dei dizionari hashindex degli articoli).

Per una griglia regolare, dovrebbe essere di gran lunga più efficiente lavorare in un formato raster. Converti la tua prima griglia in un raster, puoi ricampionare alla stessa risoluzione usando un interpolatore bilineare ma spostando l'immagine di output di 1/2 pixel in X e Y e di nuovo ai punti se hai ancora bisogno di punti.

EDIT: per regole di decisione complesse, puoi convertire ciascuno dei campi di cui hai bisogno come nuova banda raster, quindi fai quattro copie di quelle bande e ti sposta raster nelle 4 direzioni di 1/2 pixel (+50, - 50), (+ 50, + 50), (-50, -50) e (-50, + 50). Quindi puoi usare la normale algebra delle mappe

Grazie a tutti per il vostro aiuto!

Alla fine ho trovato un modo molto non pitonico per risolvere questo problema ... Quello che in realtà stava impiegando più tempo a calcolare era trovare i 4 vicini di ogni punto. Piuttosto che usare gli attributi X e Y (o con un cursore arcpy o all'interno di un'altra struttura di dati, come un dizionario Python), ho finito per usare lo strumento ArcGIS Genera vicino al tavolo . Presumo che questo sfrutti gli indici spaziali e le prestazioni sono ovviamente molto più elevate, senza che io debba implementare l'indice da solo.

Il problema con i cursori è che puoi scorrere in un solo modo e non puoi tornare indietro. Sebbene non sia raccomandato, puoi popolare le bellezze in una struttura se hai intenzione di rivisitarle.

Se sei stato in grado di elaborare le tue funzionalità in un singolo ciclo, ti suggerisco di abilitare il riciclaggio. È un parametro della tua funzione di ricerca featureclass che consente a Python di riutilizzare la memoria allocata da vecchie funzionalità e di rendere molto più veloce l'attraversamento delle funzioni in un cursore. Puoi elaborare la tua griglia dell'80% più velocemente.

Il problema è che non è possibile abilitare il riciclaggio se si prevede di memorizzare le funzioni recuperate da un cursore.