Come trovo la causa di un'enorme differenza nelle prestazioni tra due server Ubuntu identici?

Sto eseguendo due server Dell R410 nello stesso rack di un data center (dietro un bilanciamento del carico). Entrambi hanno la stessa configurazione hardware, eseguono Ubuntu 10.4, hanno gli stessi pacchetti installati ed eseguono gli stessi server Web Java (nessun altro carico) e vedo una sostanziale differenza di prestazioni tra i due.

La differenza di prestazioni è più evidente nei tempi medi di risposta di entrambi i server (misurati nella stessa app Java, senza latenze di rete): uno di questi è il 20-30% più veloce dell'altro, in modo molto coerente.
Ho usato dstatper capire, se ci sono più cambi di contesto, IO, scambio o altro, ma non vedo alcuna ragione per la differenza. Con lo stesso carico di lavoro (senza scambio, praticamente senza IO), l'utilizzo della CPU e il carico sono maggiori su un server.

Quindi la differenza sembra essere principalmente legata alla CPU, ma mentre un semplice benchmark della CPU che utilizza sysbench(con tutti gli altri carichi disattivati) ha prodotto una differenza, era solo del 6%. Quindi forse non è solo la CPU ma anche le prestazioni della memoria.

Finora ho controllato:

• Revisioni del firmware su tutti i componenti (identici)
• Impostazioni del BIOS (ho fatto un dump usando dmidecodee questo non ha mostrato differenze)
• Ho confrontato /proc/cpuinfo, nessuna differenza.
• Ho confrontato l'output di cpufreq-info, nessuna differenza.
• Parametri Java / JVM (stessa versione e parametri su entrambi i sistemi)

Inoltre, ho completamente sostituito la RAM alcuni mesi fa, senza alcun effetto.

Mi sono perso. Cosa posso fare per capire, cosa sta succedendo?

AGGIORNAMENTO : Yay! Entrambi i server funzionano allo stesso modo ora. Erano le impostazioni di "power CRAP" come jim_m_somewhere le ha nominate nei commenti. Le opzioni del BIOS per "Risparmio energia" erano su "Prestazioni massime" sul server veloce e su "Active Power Controller" (impostazione predefinita da Dell) sull'altro. Ovviamente ho dimenticato, che ho fatto quell'impostazione due anni fa, e non l'ho fatto su tutti i server. Grazie a tutti per il vostro contributo molto utile!

Due idee, a seconda di quanto lontano vuoi andare con questo:

1. Scambia i dischi di entrambi i server e verifica se le prestazioni di velocità rimangono sull'hardware o si spostano con il software.

2. Confronta l'output di /opt/dell/toolkit/bin/syscfg -o complete-bios-config.outse riesci in qualche modo a ingannare questo pacchetto da installare.

Altre possibilità di output e diff:

• sysctl -a (assicurarsi che i parametri sintonizzabili del kernel siano gli stessi)
• cat / proc / interrupt (forse c'è qualche altro componente hardware che rovina?)
• elenco dei sensori ipmitool (long shot, ma verifica la presenza di differenze di livello più basso, surriscaldamento, problemi di tensione, ecc.)

Sembra che potrebbe essere un bilanciamento del carico correlato a me. Quando dici "stesso carico di lavoro" come stai misurando questo?
Stai confrontando direttamente ciascun server applicando un carico di prova in isolamento?
oppure State applicando un carico al bilanciamento del carico e osservando i risultati su entrambi i server?

Se si sta eseguendo questi ultimi (misurando il carico posizionato su entrambi i server tramite il bilanciamento del carico), il bilanciamento del carico potrebbe non suddividere il carico di lavoro in modo uniforme tra i server (un'inclinazione del 20% per una coppia di server non è rara a seconda di come il bilanciamento del carico decide chi riceve quali richieste), causando un carico maggiore a un server e quindi con prestazioni scadenti.

(Se esegui il benchmarking diretto di ciascun server, in isolamento, senza utilizzare il bilanciamento del carico come intermediario e hai verificato che ogni componente è identico (fino alle revisioni del produttore) tra entrambi i sistemi, allora sono in perdita - Non riesco a pensare a nessun altro motivo misurabile per questo tipo di differenza di prestazioni tra server altrimenti identici)

Prova alcuni strumenti di profilazione, la profilazione di sistema come perf o la profilazione Java come VisualVM .

Con perf potresti profilare il processo Java in esecuzione tramite PID o profilare un benchmark. Guarda entrambi i sistemi, vedi dove il sistema lento sta spendendo il suo tempo.

apt-get install linux-tools-common linux-tools

Quindi qualcosa come:

perf record -e cpu-cycles -p <pid>

o

perf record -a -g <benchmark command>

poi

perf report

Un paio di idee su come i sistemi possono funzionare diversamente:

Ambiente: la temperatura o il flusso d'aria è diverso? Sono in rack? Ho visto i sistemi funzionare diversamente in diverse posizioni del rack, causate dalle vibrazioni. Esistono diversi livelli di vibrazione in ogni rack. È improbabile, considerando che hai detto che non c'è quasi nessun I / O in uso. Ma ho visto i dischi rallentare a 2 MB / sec di scritture sequenziali a causa delle vibrazioni in alcune parti di un rack.

Guasti hardware: qualsiasi hardware potrebbe essere difettoso. Usa la profilazione per vedere cosa è lento. Potrebbe essere una CPU o un chipset difettoso, un dissipatore di calore non collegato correttamente, ventole sbilanciate che causano vibrazioni, ventole guaste, persino un alimentatore difettoso. Prova a scambiare cose che sono facili da scambiare.

Perché nessuno ha suggerito "sysprof" ..?

Questo è ciò per cui è stato progettato.

O ummm secondo pensiero ... prova a riempire alcuni limiti in /etc/security/limits.conf

Prova entrambi.

Se non ottieni nulla .... hai molto probabilmente un problema di sicurezza o un difetto fisico.

vedi anche: Il mio server linux "Numero di processi creati" e "Switch di contesto" stanno crescendo incredibilmente velocemente