Esecuzione di 100 macchine virtuali su un singolo server host VMWare

Uso VMWare da molti anni, eseguendo decine di server di produzione con pochissimi problemi. Ma non ho mai provato a ospitare più di 20 macchine virtuali su un singolo host fisico. Ecco l'idea:

1. Una versione ridotta di Windows XP può vivere con 512 MB di RAM e 4 GB di spazio su disco.
2. $ 5.000 mi danno un computer di classe server a 8 core con 64 GB di RAM e quattro mirror SAS.
3. Dal momento che 100 VM sopra menzionate si adattano a questo server, il mio costo hardware è di soli $ 50 per VM, il che è super bello (più economico del noleggio di VM su GoDaddy o in qualsiasi altro negozio di hosting).

Mi piacerebbe vedere se qualcuno è in grado di raggiungere questo tipo di scalabilità con VMWare? Ho fatto alcuni test e mi sono imbattuto in uno strano problema. Le prestazioni della VM iniziano a peggiorare notevolmente quando si avviano 20 VM. Allo stesso tempo, il server host non mostra alcun collo di bottiglia delle risorse (i dischi sono inattivi al 99%, l'utilizzazione della CPU è inferiore al 15% e c'è molta RAM libera).

Apprezzerò se puoi condividere le tue storie di successo sul ridimensionamento di VMWare o di qualsiasi altra tecnologia di virtualizzazione!

Si, puoi. Anche per alcuni carichi di lavoro di Windows 2003 sono sufficienti solo 384 MiB, quindi 512 MiB è una stima abbastanza buona, sia un po 'alta. La RAM non dovrebbe essere un problema, né la CPU.

A 100 VM è un po 'ripido, ma è fattibile, soprattutto se le VM non saranno molto impegnate. Eseguiamo facilmente 60 server (Windows 2003 e RHEL) su un singolo server ESX.

Supponendo che tu stia parlando di VMware ESX, dovresti anche sapere che è in grado di sovraccaricare la memoria. Le VM non usano quasi mai la loro razione di memoria completamente nominata, quindi ESX può impegnare più VM della quantità disponibile di RAM per le VM ed eseguire più VM di quante ne abbia "ufficialmente" RAM.

Molto probabilmente il tuo collo di bottiglia non sarà CPU o RAM, ma IO. VMware vanta enormi quantità di IOPS nel loro marketing, ma quando arriva la spinta, i conflitti di prenotazione SCSI e la larghezza di banda limitata ti fermeranno molto prima che ti avvicini agli IOPS VMware si vanta.

Ad ogni modo, non stiamo riscontrando il degrado delle prestazioni di 20 VM. Quale versione di ESX stai usando?

Un grosso problema con un ambiente di questo tipo sarebbe la prevenzione delle catastrofi e la protezione dei dati. Se il server muore, quindi 100 VM muoiono con esso.

È necessario pianificare una sorta di failover delle VM e pianificare una sorta di gestione "extra-VM" che proteggerà le VM in caso di errore. Naturalmente, questo tipo di ridondanza comporta un aumento dei costi, motivo per cui molte volte tale esborso non viene approvato fino a quando i suoi benefici non sono stati visti in pratica (per la sua assenza).

Ricordare inoltre che l'host di macchine virtuali è solo uno dei numerosi punti di errore singoli:

• Rete: cosa succede se la scheda di rete dell'host VM si interrompe?
• Memoria: cosa succede se una parte della memoria dell'host di macchine virtuali si guasta?
• CPU: se un core della CPU muore, cosa succede alle VM?
• Alimentazione: sono presenti solo uno o due cavi di alimentazione?
• Porta di gestione: supponi di non poter accedere alla gestione host della VM?

Questo è solo alcuni: una massiccia infrastruttura di VM richiede un'attenta attenzione alla prevenzione della perdita di dati e alla prevenzione della perdita di VM.

Nessuna affermazione sulla fattibilità di questo nella produzione, ma esiste una demo NetApp molto interessante in cui eseguono il provisioning di desktop 5440 XP su 32 host ESX (ovvero 170 per host) in circa 30 minuti utilizzando pochissimo spazio su disco a causa della deduplicazione sulla VM comune immagini

http://www.youtube.com/watch?v=ekoiJX8ye38

Suppongo che i tuoi limiti provengano dal sottosistema del disco. Sembra che tu abbia tenuto conto della memoria e dell'utilizzo della CPU di conseguenza.

Non l'ho mai fatto, ma prometto che spenderai molto di più che in spazio di archiviazione per ottenere abbastanza IOP per supportare così tante macchine virtuali di te rispetto all'hardware del server. Avrai bisogno di molti IOP se tutti e 100 sono attivi contemporaneamente. Non per sembrare negativo ma hai anche considerato che stai mettendo molte uova in un paniere (sembra che tu stia cercando una soluzione a server singolo?)

Sarei più preoccupato per la contesa della CPU con 100 VM su un singolo host. Devi ricordare che il processore NON è virtualizzato, quindi ogni macchina dovrà attendere l'accesso alla cpu. Puoi iniziare a vedere la contesa guardando ESXTOP mi è stato detto che qualcosa di più di 5 nel campo% RDY è molto male dagli ingegneri VMWare.

Nella mia esperienza ho visto circa 30 - 40 server in esecuzione su un host (non facendo troppo).

Avevo 10 host su VMWare Server 1.0.6 (sotto Windows 2003) e si sarebbero imbattuti in problemi di I / O su base regolare (e se le build notturne si fossero mai sovrapposte a qualcos'altro, avrebbero avuto problemi). Dopo l'aggiornamento da Windows a ESXi U3, abbiamo riscontrato che i nostri problemi di prestazioni sono scomparsi (le build notturne non sono più fallite).

Si noti inoltre che mentre gli SSD hanno una velocità di I / O molto più elevata rispetto agli spinning media, ci sono alcuni casi in cui ciò non è valido, come alcuni tipi di pattern di scrittura (molte piccole scritture sparse sull'unità annullano le prestazioni a meno che il controller non abbia un cache di buffering di scrittura intelligente che fa un buon lavoro sulle scritture scatter).

Ti consiglio di investigare / testare i file SWAP su unità diverse se riscontri problemi.

Se hai intenzione di farlo, ti consiglio vivamente di utilizzare i nuovi processori Intel 'Nehalem' Xeon serie 55xx: sono progettati per eseguire macchine virtuali e la loro larghezza di banda di memoria aggiuntiva ti aiuterà enormemente. Oh, e se puoi usare più dischi più piccoli di pochi, quelli grandi - questo ti aiuterà molto. Se puoi usare ESX v4 anche su 3.5U4.

Ho 20 macchine virtuali XP in esecuzione con 512 M di RAM ciascuna su una macchina con 16 G di RAM. Meno di questo e si scambiano su disco e questo dà il collo di bottiglia. Tuttavia, si tratta sempre di macchine virtuali XP attive.

VMware e la sua funzionalità OverCommit dovrebbero consentire di inviare più RAM a ogni macchina XP. Macchina simile condividerà le stesse pagine in modo da ridurre la scrittura del disco. È qualcosa che mi piacerebbe cercare nella nostra configurazione per provare ad aggiungere più macchine mentre le nostre macchine virtuali XP stanno facendo 10-20meg di traffico su disco continuo.

Non siamo riusciti a raggiungere 100 ospiti felici sul server VMWare, ma poi abbiamo scoperto che ESXi sta facendo un lavoro molto migliore. Quindi, sembra che 100 XP vms non siano un problema se si utilizza ESXi e un server decente (alcuni mirror del disco per diffondere l'I / O, un paio di chip I7 e 64 GB di RAM). Non vi è alcun ritardo visibile per gli utenti finali e le risorse dell'host non sono massimizzate (la più calda è la CPU ma in genere è almeno al 70% inattiva).

PS. Questa domanda è stata posta da me quando stavamo lottando con VMWare Server.

L'ultima volta che ho verificato, VMware non consiglia più di 4 VM per core di elaborazione per ESX, ipotizzando una vCPU per VM.

Ciò suggerisce che le spese generali di gestione stanno diventando un fattore.

Sono molto interessato a vedere se puoi effettivamente ottenere un fattore 4x su una scatola a 8 core.