Programmazione multiprocessing

19

Pool.map multiprocessing di Python per più argomenti

Nella libreria multiprocessing di Python, esiste una variante di pool.map che supporta più argomenti? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

536 python multiprocessing

3

multiprocessing.Pool: quando utilizzare apply, apply_async o map?

Non ho visto esempi chiari con casi d'uso per Pool.apply , Pool.apply_async e Pool.map . Sto usando principalmente Pool.map; quali sono i vantaggi degli altri?

290 python multithreading concurrency multiprocessing

8

Python multiprocessing PicklingError: Can pickle <type 'function'>

Mi dispiace non poter riprodurre l'errore con un esempio più semplice e il mio codice è troppo complicato per essere pubblicato. Se eseguo il programma nella shell IPython invece del normale Python, le cose funzionano bene. Ho cercato alcune note precedenti su questo problema. Sono stati tutti causati dall'uso del …

244 python multiprocessing pickle python-multiprocessing

21

Come devo accedere mentre utilizzo il multiprocessing in Python?

In questo momento ho un modulo centrale in un framework che genera più processi usando il multiprocessingmodulo Python 2.6 . Perché utilizza multiprocessing, v'è a livello di modulo Log multiprocessing-aware, LOG = multiprocessing.get_logger(). Secondo i documenti , questo logger ha blocchi condivisi dal processo in modo da non confondere le …

239 python logging multiprocessing

12

Impossibile decapare <type 'instancemethod'> quando si utilizza il multiprocessing Pool.map ()

Sto cercando di usare quello multiprocessingdiPool.map() funzione per dividere il lavoro contemporaneamente. Quando uso il seguente codice, funziona perfettamente: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Tuttavia, quando lo uso in un approccio più orientato agli oggetti, non …

218 python multithreading multiprocessing pickle pool

1

multiprocessing.Pool: qual è la differenza tra map_async e imap?

Sto cercando di imparare come usare il multiprocessingpacchetto di Python , ma non capisco la differenza tra map_asynce imap. Ho notato che entrambi map_asynce imapvengono eseguiti in modo asincrono. Quindi, quando dovrei usarne uno sopra l'altro? E come devo recuperare il risultato restituito da map_async? Dovrei usare qualcosa del genere? …

184 python multiprocessing python-multiprocessing

18

Multiprocessing: come utilizzare Pool.map su una funzione definita in una classe?

Quando corro qualcosa del tipo: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) funziona benissimo. Tuttavia, inserendo questo in funzione di una classe: class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() Mi dà il …

179 python multiprocessing pickle

2

Multiprocessing - Pipe vs Queue

Quali sono le differenze fondamentali tra code e pipe nel pacchetto multiprocessore di Python ? In quali scenari si dovrebbe scegliere l'uno rispetto all'altro? Quando è vantaggioso da usare Pipe()? Quando è vantaggioso da usare Queue()?

151 python performance queue multiprocessing pipe

1

Concurrent.futures vs Multiprocessing in Python 3

Python 3.2 ha introdotto i Concurrent Futures , che sembrano essere una combinazione avanzata dei vecchi moduli di threading e multiprocessing . Quali sono i vantaggi e gli svantaggi dell'utilizzo di questo per attività associate alla CPU rispetto al vecchio modulo multiprocessore? Questo articolo suggerisce che sono molto più facili …

148 python python-3.x multiprocessing

6

Quali sono le differenze tra i moduli di threading e multiprocessing?

Sto imparando come utilizzare il threadinged i multiprocessingmoduli in Python per eseguire alcune operazioni in parallelo e velocizzare il mio codice. Lo trovo difficile (forse perché non ho alcun background teorico al riguardo) per capire quale sia la differenza tra un threading.Thread()oggetto e multiprocessing.Process()uno. Inoltre, non mi è del tutto …

141 python multithreading parallel-processing process multiprocessing

10

Tastiera si interrompe con il pool multiprocessore di Python

Come posso gestire gli eventi KeyboardInterrupt con i pool multiprocessore di Python? Qui c'è un semplice esempio: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS PART …

136 python multiprocessing pool keyboardinterrupt

3

Perché il multiprocessing utilizza solo un singolo core dopo aver importato numpy?

Non sono sicuro che ciò valga di più come un problema del sistema operativo, ma ho pensato di chiedere qui nel caso in cui qualcuno abbia qualche intuizione dalla fine delle cose di Python. Ho provato a parallelizzare un forloop pesante per CPU usando joblib, ma trovo che invece di …

127 python linux numpy multiprocessing blas

4

Oggetti a memoria condivisa in multiprocessing

Supponiamo di avere un grande array numpy in memoria, ho una funzione funcche accetta questo array gigante come input (insieme ad alcuni altri parametri). funccon diversi parametri possono essere eseguiti in parallelo. Per esempio: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

124 python numpy parallel-processing multiprocessing shared-memory

5

RuntimeError su Windows che prova il multiprocessing di Python

Sto provando il mio primo vero programma python formale usando Threading e Multiprocessing su una macchina Windows. Tuttavia, non sono in grado di avviare i processi, con Python che fornisce il seguente messaggio. Il fatto è che non sto avviando i miei thread nel modulo principale . I thread vengono …

123 python windows multiprocessing

5

multiprocessing: come condivido un dict tra più processi?

Un programma che crea diversi processi che funzionano su una coda collegabile Qe può eventualmente manipolare un dizionario globale Dper memorizzare i risultati. (quindi ogni processo figlio può utilizzare Dper memorizzare il suo risultato e vedere anche quali risultati stanno producendo gli altri processi figlio) Se stampo il dizionario D …

113 python multiprocessing

Domande taggate «multiprocessing»