Qualche suggerimento per fare in modo che il codice R utilizzi più processori?

Ho R-script per leggere grandi quantità di dati CSV da diversi file e quindi eseguire attività di apprendimento automatico come svm per la classificazione.
Esistono librerie per l'utilizzo di più core sul server per R.
o
Qual è il modo più adatto per farlo?

Se è su Linux, il più semplice è il multicore . Oltre a ciò, suggerisco di dare un'occhiata a MPI (specialmente con il pacchetto neve ).

Più in generale, dai un'occhiata a:

1. La vista di calcolo ad alte prestazioni su CRAN.
2. "Stato dell'arte nel calcolo parallelo con R"

Infine, ti consiglio di usare il pacchetto foreach per sottrarre il backend parallelo nel tuo codice. Ciò lo renderà più utile a lungo termine.

Se stai usando GNU / Linux le risposte precedenti di Shane e Dirk sono fantastiche.

Se hai bisogno di una soluzione per Windows, ce n'è una in questo post:

Elaborazione multicore parallela con R (su Windows)

Sebbene il pacchetto non sia ancora su CRAN. può essere scaricato da quel link.

Shane ha ragione. Sia multicore che Rmpi sono vincitori.

Una copertura leggermente più ampia dell'argomento è nella Task View CRAN sul calcolo ad alte prestazioni . Questo si collega anche a un articolo di sondaggio abbastanza recente su Parallel Computing with R di JSS.

Infine, alcuni esempi pratici e suggerimenti sono nell'introduzione a HPC con R tutorial che do una volta ogni tanto - vedi la mia pagina delle presentazioni per la copia più recente della scorsa settimana su useR.

Ho notato che le risposte precedenti mancano di alcune considerazioni generali HPC.
Prima di tutto, nessuno di questi pacchetti ti consentirà di eseguire un SVM in parallelo. Quindi, ciò che è possibile accelerare è l'ottimizzazione dei parametri o la convalida incrociata, tuttavia è necessario scrivere le proprie funzioni per questo. O ovviamente è possibile eseguire il lavoro per diversi set di dati in parallelo, se è un caso.
Il secondo problema è la memoria; se vuoi distribuire il calcolo su alcuni computer fisici, non c'è pranzo libero e devi copiare i dati - qui devi considerare se ha senso predistribuire una copia dei dati tra computer per salvare alcune comunicazioni. D'altra parte, se si desidera utilizzare più core su un computer, il multicore è particolarmente appropriato perché consente a tutti i processi figlio di accedere alla memoria del processo padre, in modo da poter risparmiare un po 'di tempo e molto spazio di memoria.

Le risposte di Shane e Dirk sono esatte.

Tuttavia, potresti voler dare un'occhiata a una versione commerciale di R, chiamata Revolution R, costruita per gestire set di dati di grandi dimensioni e funzionare su più core. Questo software è gratuito per gli accademici (che potrebbe essere il tuo caso, non lo so)