Come posso mitigare la necessità di un intervento manuale con Raspberry Pis distribuito in remoto?

Sto lavorando a un progetto che utilizza Raspberry Pis che verrà distribuito in diverse località. Hanno un hardware speciale collegato ad esso per scopi di automazione ed eseguono un servizio web (che ho scritto) per accedere all'hardware. Occasionalmente implementeremo nuovi software su Pis - metodo ancora da determinare - e questa è una grande area di preoccupazione.

La mia domanda: puoi citare alcune idee o buone pratiche per mitigare la necessità di un intervento manuale in caso di problemi? Mi chiedo se c'è qualche tipo di soluzione di watchdog in base alla quale il Pi esegue un normale riavvio in caso di blocco (forse l'impossibilità di telefonare a casa?), E se non è ancora funzionante, si riavvia in una partizione fail-safe che può "phone home" per una soluzione (reimage o riavvio normale in caso di interruzione della rete).

Non sono proprio sicuro di cosa stia cercando, solo modi che ci impediranno di dover chiamare o inviare persone per fare riavvii manuali o reimmagini. Un doppio schema di partizionamento potrebbe sembrare utile, ma forse ci sono idee migliori.

Questa risposta non è specifica per Raspberry Pi, ma è un consiglio generale per i server amministrati remoti.

1. ssh. Usare la shell sicura è quasi come essere lì.

2. console seriale e amministrazione fuori banda: se si rovina l'interfaccia di rete avere un secondo modo per accedere è un vero toccasana. un modo semplice sarebbe avere una macchina di backup identica in esecuzione come hot standby con una coppia di connessioni seriali tra loro in modo che ciascuna possa ricaricare l'altra.

3. controllo remoto dell'alimentazione: molti data center possono alimentare i server non funzionanti in remoto. costoso ma molto carino.

4. e-mail: se si installa nullmailer e logwatch si ottengono rapporti di stato giornalieri che possono aiutare a rilevare tempestivamente gli errori.

5. Nota specifica rpi: non archiviare / var o / tmp su una scheda SD, in tal modo si ridurrà la durata della scheda SD.