Salvare l'intero processo per la continuazione dopo il riavvio

Ho sviluppato un algoritmo per un problema abbastanza difficile in matematica che probabilmente richiederà alcuni mesi per finire. Dato che ho solo risorse limitate, ho iniziato questo sul mio laptop Ubuntu 12.04 (x86). Ora voglio installare alcuni aggiornamenti e riavviare effettivamente il laptop (il messaggio "per favore riavvia" è solo fastidioso).

C'è un modo per salvare un intero processo inclusa la sua memoria allocata per la continuazione oltre un riavvio?

Ecco alcune informazioni sul processo di cui potresti aver bisogno. Non esitate a chiedere ulteriori informazioni se necessario.

• Ho chiamato il processo in un terminale con il comando " ./binary > ./somefile &" o "time ./binary> ./somefile &", non ricordo davvero.
• Sta stampando alcune informazioni di debug su std :: cerr (non molto spesso).
• Attualmente utilizza circa 600,0 KiB e anche se questo aumenterà, è improbabile che aumenti rapidamente.
• il processo viene eseguito con priorità normale
• il kernel è 3.2.0-26-generic-pae, la cpu è un AMD, il sistema operativo è Ubuntu 12.04 x86.
• dura da 9 giorni e 14 ore (troppo tempo per annullarlo ;-))

La soluzione migliore / più semplice è cambiare il programma per salvare lo stato in un file e riutilizzarlo per ripristinare il processo.

Sulla base della pagina di Wikipedia sulle istantanee delle applicazioni ci sono più alternative:

1. C'è anche il cryopid, ma sembra non essere mantenuto.
2. Il checkpoint / il riavvio di Linux sembra essere una buona scelta ma il kernel deve essere CONFIG_CHECKPOINT_RESTOREabilitato.
3. criu è probabilmente il progetto più aggiornato e probabilmente il tuo scatto migliore, ma dipende anche da alcune opzioni specifiche del kernel che la tua distribuzione probabilmente non ha impostato.

Questo è già troppo tardi, ma un altro approccio più pratico è quello di avviare il processo in una macchina virtuale dedicata e sospendere e ripristinare l'intera macchina virtuale. A seconda dell'hypervisor è anche possibile spostare la macchina tra host diversi.

Per il futuro, pensa a dove esegui i tuoi processi di lunga durata, come metterli in parallelo e come gestire i problemi, ad es. Dischi completi, processo viene ucciso, ecc.

Un modo abbastanza "economico" per farlo sarebbe quello di eseguire l'elaborazione in una macchina virtuale (ad esempio, con VirtualBox). Prima di arrestare sospendere la VM e salvare lo stato. Dopo l'avvio ripristinare la VM e lo stato.

Questo ha lo svantaggio di richiedere l'uccisione e il riavvio del lavoro. Ma se in realtà funzionerà per diversi mesi, allora una differenza di nove giorni diventa banale (aumento del 5% su 6 mesi).

Modifica: ho appena realizzato che Ulrich lo aveva già menzionato nell'articolo 4 non numerato nella sua lista.

Ti incoraggio comunque a considerare questa opzione come opzione, soprattutto perché nessuna delle alternative sembra una soluzione solida. Ognuno ha una ragione per cui potrebbe non funzionare.

Suppongo che la cosa migliore da fare sarebbe provare una di quelle e se non funziona riavviare il lavoro in una macchina virtuale.

Dai un'occhiata allo strumento CryoPID .

Dalla home page: "CryoPID consente di acquisire lo stato di un processo in esecuzione in Linux e salvarlo in un file. Questo file può quindi essere utilizzato per riprendere il processo in un secondo momento, dopo un riavvio o anche su un altro computer".

Se finisci per riavviare il programma, ti incoraggio a dedicare un po 'di tempo ad aggiungere alcune funzionalità al tuo codice che potrebbero farti risparmiare tempo in futuro.

Se il processo verrà eseguito per un lungo periodo, essere in grado di salvare l'intero stato del processo al riavvio della macchina potrebbe non essere estremamente utile se il processo si arresta in modo anomalo mentre è in esecuzione.

Vorrei incoraggiarvi ad avere il vostro programma in uscita su un file "checkpoint" di dati. Questi dati dovrebbero essere sufficienti per consentire al programma di riprendere dallo stato in cui si trovava al momento del salvataggio del file del checkpoint. Non è necessario salvare l'intero processo, ma solo un'istantanea delle variabili rilevanti utilizzate nel calcolo, sufficiente affinché il calcolo riprenda da dove era stato interrotto. Il tuo codice dovrebbe anche includere un modo di leggere i dati da questo file per ottenere il suo stato iniziale.

È possibile impostare il codice in modo che quando si invia un segnale, si salva uno di questi file di checkpoint, in modo da poter salvare lo "stato" del calcolo in qualsiasi punto.

Inoltre, essere in grado di vedere come cambiano i dati man mano che il calcolo avanza potrebbe essere interessante in sé!