Programmazione shared-memory

4

Oggetti a memoria condivisa in multiprocessing

Supponiamo di avere un grande array numpy in memoria, ho una funzione funcche accetta questo array gigante come input (insieme ad alcuni altri parametri). funccon diversi parametri possono essere eseguiti in parallelo. Per esempio: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

124 python numpy parallel-processing multiprocessing shared-memory

5

Come utilizzare la memoria condivisa con Linux in C

Ho qualche problema con uno dei miei progetti. Ho cercato di trovare un esempio ben documentato di utilizzo della memoria condivisa con fork()ma senza successo. Fondamentalmente lo scenario è che quando l'utente avvia il programma, ho bisogno di memorizzare due valori nella memoria condivisa: current_path che è un char * …

117 c linux fork shared-memory

1

Applicazione efficiente di una funzione a un DataFrame panda raggruppato in parallelo

Spesso ho bisogno di applicare una funzione ai gruppi di un molto grande DataFrame(di tipi di dati misti) e vorrei sfruttare più core. Posso creare un iteratore dai gruppi e utilizzare il modulo multiprocessing, ma non è efficiente perché ogni gruppo e i risultati della funzione devono essere selezionati per …

89 python pandas multiprocessing shared-memory

6

Condivisione di array Numpy di grandi dimensioni e di sola lettura tra processi multiprocessing

Ho un SciPy Array (Matrix) da 60 GB che devo condividere tra 5+ multiprocessing Processoggetti. Ho visto numpy-sharedmem e ho letto questa discussione nell'elenco SciPy. Sembra che ci siano due approaches-- numpy-sharedmeme utilizzando una multiprocessing.RawArray()e la mappatura NumPy dtypes a ctypes. Ora, numpy-sharedmemsembra essere la strada da percorrere, ma devo …

88 python numpy multiprocessing shared-memory

Domande taggate «shared-memory»