Programmazione multiprocessing

5

Usa l'array numpy nella memoria condivisa per il multiprocessing

Vorrei utilizzare un array numpy nella memoria condivisa da utilizzare con il modulo multiprocessing. La difficoltà è usarlo come un array numpy e non solo come array ctypes. from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if __name__ == '__main__': # Create the array N = …

111 python numpy multiprocessing shared

6

Che cosa fa esattamente il metodo .join () del modulo multiprocessing Python?

Imparando a conoscere il multiprocessing di Python (da un articolo di PMOTW ) e mi piacerebbe qualche chiarimento su cosa join()sta facendo esattamente il metodo. In un vecchio tutorial del 2008 si afferma che senza la p.join()chiamata nel codice seguente, "il processo figlio resterà inattivo e non terminerà, diventando uno …

110 python multiprocessing

8

multiprocessing: condivisione di un grande oggetto di sola lettura tra i processi?

I processi figli generati tramite multiprocessing condividono oggetti creati in precedenza nel programma? Ho la seguente configurazione: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) Sto caricando un grande oggetto in memoria, quindi …

107 python multiprocessing

4

multiprocessing vs multithreading vs asyncio in Python 3

Ho scoperto che in Python 3.4 ci sono poche librerie differenti per multiprocessing / threading: multiprocessing vs threading vs asyncio . Ma non so quale usare o è "consigliato". Fanno la stessa cosa o sono diversi? In caso affermativo, quale viene utilizzato per cosa? Voglio scrivere un programma che utilizzi …

105 python multithreading python-3.x multiprocessing python-asyncio

8

Multiprocessing: usa tqdm per visualizzare una barra di avanzamento

Per rendere il mio codice più "pitonico" e più veloce, utilizzo "multiprocessing" e una funzione map per inviarlo a) la funzione eb) l'intervallo di iterazioni. La soluzione impiantata (ovvero, chiamare tqdm direttamente nell'intervallo tqdm.tqdm (intervallo (0, 30)) non funziona con il multiprocessing (come formulato nel codice seguente). La barra di …

97 python multiprocessing progress-bar tqdm

7

Python Process Pool non demoniaco?

Sarebbe possibile creare un pool python non demoniaco? Voglio che un pool possa chiamare una funzione che ha un altro pool all'interno. Lo voglio perché i processi demoniaci non possono creare processi. In particolare, causerà l'errore: AssertionError: daemonic processes are not allowed to have children Ad esempio, si consideri lo …

96 python multiprocessing pool

9

Mostrare lo stato di avanzamento di una chiamata imap_unordered del pool multiprocessing Python?

Ho uno script che esegue con successo un set di attività Pool multiprocessing con una imap_unordered()chiamata: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Tuttavia, my num_tasksè di circa 250.000, quindi join()blocca il thread principale per circa 10 secondi e mi …

95 python multiprocessing

6

Come utilizzare la coda multiprocessing in Python?

Ho molti problemi a capire come funziona la coda multiprocessing su Python e come implementarla. Diciamo che ho due moduli python che accedono ai dati da un file condiviso, chiamiamo questi due moduli uno scrittore e un lettore. Il mio piano è che sia il lettore che lo scrittore inseriscano …

94 python multithreading multiprocessing

2

Condivisione di una coda di risultati tra diversi processi

La documentazione del multiprocessingmodulo mostra come passare una coda a un processo avviato con multiprocessing.Process. Ma come posso condividere una coda con processi di lavoro asincroni iniziati con apply_async? Non ho bisogno di join dinamici o altro, solo un modo per i lavoratori di riportare (ripetutamente) i loro risultati alla …

92 python parallel-processing queue multiprocessing python-multiprocessing

5

Morto semplice esempio di utilizzo di Multiprocessing Queue, Pool e Locking

Ho provato a leggere la documentazione su http://docs.python.org/dev/library/multiprocessing.html ma sto ancora lottando con Queue, Pool e Locking multiprocessing. E per ora sono stato in grado di costruire l'esempio qui sotto. Per quanto riguarda Queue and Pool, non sono sicuro di aver capito il concetto nel modo giusto, quindi correggimi se …

91 python python-2.7 multiprocessing

1

Applicazione efficiente di una funzione a un DataFrame panda raggruppato in parallelo

Spesso ho bisogno di applicare una funzione ai gruppi di un molto grande DataFrame(di tipi di dati misti) e vorrei sfruttare più core. Posso creare un iteratore dai gruppi e utilizzare il modulo multiprocessing, ma non è efficiente perché ogni gruppo e i risultati della funzione devono essere selezionati per …

89 python pandas multiprocessing shared-memory

6

Condivisione di array Numpy di grandi dimensioni e di sola lettura tra processi multiprocessing

Ho un SciPy Array (Matrix) da 60 GB che devo condividere tra 5+ multiprocessing Processoggetti. Ho visto numpy-sharedmem e ho letto questa discussione nell'elenco SciPy. Sembra che ci siano due approaches-- numpy-sharedmeme utilizzando una multiprocessing.RawArray()e la mappatura NumPy dtypes a ctypes. Ora, numpy-sharedmemsembra essere la strada da percorrere, ma devo …

88 python numpy multiprocessing shared-memory

4

Come risolvere un "AttributeError: __exit__" in multiproccesing in Python?

Ho provato a riscrivere del codice di lettura CSV per poterlo eseguire su più core in Python 3.2.2. Ho provato a utilizzare l' Poologgetto del multiprocessing, che ho adattato da esempi di lavoro (e già lavorato per me per un'altra parte del mio progetto). Mi sono imbattuto in un messaggio …

87 python python-3.x multiprocessing pool

Domande taggate «multiprocessing»