Modi per velocizzare gli script Python in esecuzione come strumenti ArcGIS [chiuso]

Questa è una domanda piuttosto generica. Mi chiedo solo quali suggerimenti e trucchi hanno usato i programmatori GIS per accelerare gli script arcpy che importi nella toolbox ed esegui.

Lavoro quasi tutti i giorni scrivendo piccoli script per aiutare gli utenti non GIS nel mio ufficio a elaborare i dati GIS. Ho scoperto che l'elaborazione ArcGIS 10.0 in generale è più lenta della 9.3.1 e talvolta diventa ancora più lenta quando si esegue uno script Python.

Elencherò un esempio particolare di uno script che impiega più di 24 ore per l'esecuzione. È un loop che tabula l'area di un raster in un buffer per ogni forma nel buffer. Il buffer ha circa 7000 forme. Non credo che dovrebbe durare così a lungo. UN

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

Prima che qualcuno lo dica, ho eseguito l'area tabulate sull'intero buffer, ma produce errori se eseguito su più di 1 record. È uno strumento imperfetto, ma devo usarlo.

Ad ogni modo, se qualcuno ha qualche idea su come ottimizzare o velocizzare questo script, sarebbe molto apprezzato. Altrimenti, hai qualche trucco per accelerare per Python, quando usato in ArcGIS?

Un paio di potenziali suggerimenti per velocizzare il processo sono:

1. Seleziona livello per attributo può essere in uno script solo Python, senza mai avviare ArcGIS Desktop. È necessario convertire il riferimento "buff" da un riferimento basato su file a un riferimento "livello ArcGIS", contro il quale ArcGIS può elaborare le query di selezione. Usa arcpy.MakeFeatureLayer_management ("buff", "buff_lyr") sopra il tuo ciclo "while", quindi cambia i riferimenti sotto il ciclo while per usare "buff_lyr".

2. Elaborare la maggior parte delle operazioni GP utilizzando l' area di lavoro in_memory possibile ... Utilizzare arcpy.CopyFeatures_management (shapefile, "in_memory \ memFeatureClass") per spostare l'origine in memoria. Funziona bene solo se hai abbastanza RAM per leggere tutte le classi di funzionalità di cui hai bisogno in memoria. Attenzione, tuttavia, che ci sono alcune operazioni GP che non possono essere eseguite utilizzando l'area di lavoro in_memory (ad esempio: lo strumento Progetto).

Dall'articolo della guida in linea di ArcGIS 9.3 " Dati intermedi e area di lavoro scratch " (si noti che questa lingua è stata rimossa dalla guida 10.0 e 10.1):

NOTA: solo le tabelle e le classi di entità geografiche (punti, linee, poligoni) possono essere scritte nell'area di lavoro in_memory. L'area di lavoro in_memory non supporta elementi di geodatabase estesi come sottotipi, domini, rappresentazioni, topologie, reti geometriche e set di dati di rete. È possibile scrivere solo funzioni e tabelle semplici.

Dall'articolo della guida in linea di ArcGIS 10.1 " Utilizzo dell'area di lavoro in memoria ":

Le seguenti considerazioni devono essere fatte nel decidere di scrivere l'output nell'area di lavoro in memoria:

• I dati scritti nell'area di lavoro in memoria sono temporanei e verranno eliminati alla chiusura dell'applicazione.
• Tabelle, classi di entità geografiche e raster possono essere scritti nell'area di lavoro in memoria.
• L'area di lavoro in memoria non supporta elementi di geodatabase estesi come sottotipi, domini, rappresentazioni, topologie, reti geometriche e set di dati di rete.
• I set di dati o le cartelle delle funzioni non possono essere creati nell'area di lavoro in memoria.

Le tecniche generali di ottimizzazione di Python possono farti risparmiare notevoli quantità di tempo.

Una tecnica davvero buona per capire come si trovano i blocchi nel tuo script è usare il modulo cProfile integrato:

from cProfile import run
run("code") # replace code with your code or function

Il test con un piccolo campione di dati ti permetterà di individuare quali chiamate di funzione impiegano più tempo.

Puntatori generali per un codice Python più veloce:

• La comprensione dell'elenco è generalmente più rapida del looping
• I generatori producono un articolo alla volta anziché produrre l'intero elenco in una volta
• Usa xrange invece di range in python 2 (non necessario in 3)
• Imposta possibile fuori le liste di preforme quando si tratta di determinare se un elemento è presente nel set, ma sono generalmente più lento di liste quando si tratta di iterazione di loro contenuto Fonte
• Le chiamate di funzione possono essere costose per la fonte delle prestazioni
• Ulteriori suggerimenti e dettagli sono disponibili qui Suggerimenti per le prestazioni Python e qui 10 Suggerimenti e problemi per l'ottimizzazione di Python

Per quanto riguarda il tuo script, non posso commentare gli aspetti di ArcPy poiché non ho Arc installato su questo computer, ma potresti voler provare a usare un ciclo for anziché un ciclo while per vedere se questo migliora qualcosa. Inoltre x = x + 1 può essere scritto come x + = 1:

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

Assicurati di scrivere sull'unità interna del computer. Raggiungere attraverso la rete quando non è necessario può davvero rallentare l'elaborazione. Può anche essere più veloce copiare i dati come primo passo del processo per mantenere le successive scritture in lettura il più rapidamente possibile

L'esecuzione dello script completamente al di fuori di ArcMap può essere molto più veloce. Se durante l'elaborazione non è richiesta una mappa, non utilizzare ArcMap.

Questo potrebbe non rispondere alla tua domanda per l'esecuzione degli strumenti ArcPy all'interno di ArcMap, ma quando ho bisogno di eseguire alcune elaborazioni elaborate con strumenti di geo-elaborazione e Python, tendo a eseguirlo al di fuori del sistema GIS utilizzando l'IDE PyScripter . Ho scoperto che corre più veloce. Ho anche utilizzato un RAMDISK per piccoli set di dati di output temporanei (un po 'come l' area di lavoro in_memory )

Bene, sono i miei migliori consigli! :)

Prova a commentare arcpy.SetProgressorLabel e vedi quanto acceleri. Ho scoperto che qualsiasi output dello schermo, tornando al daze DOS, rallenta drasticamente i tempi di elaborazione. Se hai davvero bisogno di vedere quell'output, prova a mostrarlo ogni ennesimo loop.

Assicurati di rimuovere tutte le import xxxxrighe che non vengono utilizzate.

(ad es. se non stai ancora utilizzando alcuna funzione matematica import Math, ciò richiederà del tempo dal caricamento dello script)

Anche se questo non avrà un grande impatto sui singoli script eseguiti (come il tuo), avrà effetto su tutti gli script eseguiti frequentemente e ripetutamente.