Minix è un'ottima scelta ed è descritto in una delle altre risposte.
Xinu
Considera anche XINU - XINU non è Unix.
È anche UNIX scritto al contrario.
C'è un libro di Douglas Comer che pensavo fosse ben scritto, ben illustrato e ben definito.
C'è un Xinu incorporato e un sito web sull'insegnamento con Xinu.
http://xinu.mscs.mu.edu/Teaching_With_Xinu
FreeRTOS
Un altro piccolo sistema operativo che ama molto in questi giorni è FreeRTOS. Funziona su quasi tutto. Se provenissi da Marte e disponevi di un processore o di una scheda di valutazione in cui non è in esecuzione, potresti leggere circa 10 pagine di documentazione, modificare circa cinque file relativi a interruzioni, timer e UART e sarai in esecuzione.
http://www.freertos.org/
Sostengono che supporta 31 architetture e 18 catene di utensili. La mia esperienza alla fine del 2009 è stata buona e da allora ho sentito che è stato migliorato molto.
Altri collegamenti
Una domanda simile che potrebbe avere informazioni utili per te si trova qui:
/programming/254149/how-do-you-write-a-basic-operating-system
Linux e molti altri design del sistema operativo sono influenzati da UNIX, quindi questo video in cui i designer originali (Kernigan, Richie, Thompson e altri) sono entrambi informativi e ottengono le idee di design direttamente dalla fonte.
http://techchannel.att.com/play-video.cfm/2012/2/22/AT&T-Archives-The-UNIX-System
Esiste un libro di testo sui sistemi operativi classico ma spesso rivisto:
Silberschatz, Galvin, Gagne: Concetti relativi al sistema operativo, 7a edizione
Potrebbero esserci anche nuove edizioni. Raramente mi collego a un libro tramite un venditore di libri, ma l'anteprima è molto generosa, quindi per saperne di più sui sistemi operativi, controlla:
http://www.amazon.com/Operating-System-Concepts-Abraham-Silberschatz/dp/0470128720