quanti core dovrei usare per i calcoli? #cores o #cores -1?

Ho un grande calcolo da fare. Mentre posso utilizzare tutti i core, ho pensato che ci fosse qualche motivo per lasciare fuori 1 core e non utilizzarlo? (calcolo cpu solo no IO). O sto sottovalutando il sistema operativo che non saprebbe gestire e fare il cambio di contesto corretto anche se utilizzo tutti i core?

I principali sistemi operativi sono abbastanza maturi da sapere come gestire i processi che utilizzano ogni core disponibile. Altri processi possono (e spesso saranno) influenzati, ma il calcolo non diventerà più lento perché hai utilizzato tutti i core disponibili.

La scelta del numero di core dipende maggiormente dall'intenzione di fare qualcos'altro mentre viene eseguito il calcolo.

Se, su un computer desktop, vuoi essere in grado di utilizzare il tuo browser web o guardare un video mentre il calcolo è in corso, ti conviene mantenere un core libero per esso. Allo stesso modo, se il server sta facendo due cose (come fare calcoli e, allo stesso tempo, elaborare e riportare le sue metriche), mantenere un core libero per l'attività secondaria potrebbe essere una buona idea.

D'altra parte, se la tua priorità è quella di rendere il calcolo il più veloce possibile, devi usare tutti i core.

Dipende.

Se la macchina è dedicata a questo calcolo, è necessario utilizzare tutti i core: le risorse di elaborazione inutilizzate non accelerano le cose .

Se stai utilizzando uno scheduler in tempo reale, uno scheduler non preventivo o l'affinità del processore, dovresti fare un po 'più attenzione perché è facile far morire di fame accidentalmente altri processi da tutte le risorse di elaborazione. Tuttavia, dovresti modificare manualmente queste impostazioni affinché qualcosa vada storto, quindi per impostazione predefinita non ci sono problemi qui sulla maggior parte dei sistemi operativi.

Se la macchina non è dedicata al calcolo, dare il 100% al calcolo potrebbe non essere l'ideale. Ad esempio, se si utilizza un browser Web mentre il calcolo è in esecuzione. Poiché il carico della tua macchina raggiungerà occasionalmente un picco superiore al 100%, sembrerà lento. Le attività orientate alla velocità effettiva come il calcolo non saranno realmente rallentate, ma le attività sensibili alla latenza come le GUI non reagiranno così rapidamente. È quindi sensato avviare solo thread / processi NPROC-1 per il calcolo. In alternativa, l'utilizzo esplicito di una priorità inferiore per il calcolo rispetto alle attività normali potrebbe risolvere questo problema, nel qual caso il calcolo dovrebbe utilizzare i processi NPROC per non sprecare alcuna risorsa.

Sono un po 'avveduto nel concordare con @motoDrizzt, di seguito, a causa dei suoi voti negativi :), ma questa è stata davvero la mia esperienza reale - più è meglio, anche oltre il numero effettivo di core (ma non migliaia). Ad esempio, dai un'occhiata a http://www.forkosh.com/images/avoronoi.gif dove ogni piano 2D di quel diagramma 3D voronoi_ può essere generato in modo indipendente. E il programma accetta un attributo nfork = n query_string per eseguire il fork dei calcoli per n piani "contemporaneamente".

Con un processore a quattro core, il tempo (dell'utente) per completare il diagramma diminuisce in modo quasi lineare con nfork, fino a circa nfork = 8 (quattro core hyperthreaded). Ma oltre le 8, il tempo diminuisce ancora, anche se più lentamente. E oltre circa 16, circa, nessun ulteriore miglioramento evidente. Non ho analizzato affatto questo comportamento, ma lo attribuisco ingenuamente ai processi di giocoleria os (slackware linux 14.2x64 in questo caso) per ridurre ulteriormente il tempo di inattività complessivo.

La scelta migliore dipende dal sistema. Quindi, quello che vuoi fare è eseguire entrambe le versioni su un sistema reale e quindi controllare come risponde il sistema. Puoi ancora usare browser, editor di testo, altre cose sul tuo sistema? E le prestazioni sono migliori quando si usano n thread e non n-1? Cosa succede se si esegue l'app insieme a un'altra app che tenta di utilizzare tutte le CPU?

E poi devi considerare l'hyperthreading. Con quattro core più hyperthreading, è possibile utilizzare 8 core o 7 core. Ancora una volta, prova la reattività del sistema e il tempo di finire.

E infine, considera di dividere il tuo lavoro in più blocchi che thread. Il motivo è che thread diversi finiscono il lavoro in momenti diversi e quindi si desidera che un po 'di lavoro venga lasciato ai thread più veloci. Altrimenti dovrai aspettare fino al termine dell'ultimo thread.

PS. "L'hyperthreading non può essere d'aiuto con il codice intensivo FPU perché esiste solo una FPU". Assolutamente sbagliato È incredibilmente difficile, anche con il codice intensivo della FPU, sfruttare appieno la FPU a causa delle latenze. L'hyperthreading aiuta perché ci sono il doppio delle operazioni indipendenti disponibili per la pianificazione.

Non so come scrivere questo in un modo che non suona "cattivo", quindi prendilo come un'osservazione amichevole, ok?

Dato che un PC medio ha già di solito migliaia o più thread, cosa ti fa pensare che l'utilizzo di 8 vs 7 farà la differenza? :-)

Usa il maggior numero di thread possibile. E se non devi preoccuparti della risposta del sistema operativo e i tuoi thread funzionano per un tempo piuttosto lungo (più di un secondo), puoi persino sperimentare l'uso del doppio del numero di core.