Server ESx: VM che si impallano con poche VM accese

[c3n2o]

Salve a tutti,
in ditta abbiamo un blade m1000e con su un server PowerEdge M820 con 16 Core e 128Gb di RAM con su ESx 5.5.0 (2068190)
Il problema e che se accendo 3 o 4 macchine anche se sia i Core che la RAM sono ampiamente sotto il 50%, si rallenta tutto.

Qualcuno mi ha detto che potrebbe dipendere dal fatto che il Blade è collegato in iSCSI allo storage e quindi abbiamo un collo di bottiglia lì, ma a me sembra strano che gli altri server del Blade non soffrano dello stesso problema (a parte che 4 VM sugli altri host è impossibile accendere).

Io ho pensato che fosse più un discorso di configurazione della lama specifica M820, che magari non è configurata bene..
Oppure potrebbe dipendere dal fatto che i dischi iSCSI sono di tipo VMFS3 e non VMFS5..??

Come faccio a controllare?
Avete suggerimenti?
Devo andare dull'iDRAC (o quello che è) dell'M820, dell' M1000e o della scheda di rete del Blade(m6220)?

Grazie

[Kaya]

Ci vuole un po di diagnostica per capire.
Guarda quali sono i carichi di rete sugli switch e sul server e inizia a fare un po di throobleshooting.
Anche i log di sistema aiutano.
Quante VM hai su?
Prova a fare i test con accensione di macchine diverse.

[malatodihardware]

Ma le macchine cosa fanno girare? Perché se dici che sugli altri host è impossibile accenderle devono essere belle pesanti..

Inviato dal mio Nexus 5

[c3n2o]

Ci sono 10 VM, di cui accese sempre 2 con 8core e 12Gb di RAM a testa (quindi i core già "saturano" la CPU), se ne accendo una terza in media con 4/6 core e <10Gb di RAM.. tutte le macchine hanno Win2012

Il problema è quando ne accendo una quarta qualunque sia.. allora tutte le VM rallentano.. anche se la CPU resta abbondantemente sotto il 50% di utilizzo..

[nanotek]

Sono VM a cui assegnato molte risorse, quindi belle pesanti quando girano..
Non è che alla quarta la ram viene saturata e inizia a utilizzare lo swap ?

[c3n2o]

Sono VM a cui assegnato molte risorse, quindi belle pesanti quando girano..
Non è che alla quarta la ram viene saturata e inizia a utilizzare lo swap ?

In totale il server ha 128Gb.. quindi non penso..
Esagerando arriviamo a 64Gb occupati sull'host esx..

Magari sono le VM che fanno lo swap sul disco?
Ma lo fanno anche se non sono utilizzate?

Grazie

[Kaya]

Io credo che se saturi la cpu già con 2 VM.....è plausibile che qualcosa non torni nei conti!

[c3n2o]

Io credo che se saturi la cpu già con 2 VM.....è plausibile che qualcosa non torni nei conti!

Quindi se uso 8+8 core (su un totale di 16 disponibili) anche se poi l'utilizzo resta basso, cmq la cpu si satura?

[Kaya]

Quindi se uso 8+8 core (su un totale di 16 disponibili) anche se poi l'utilizzo resta basso, cmq la cpu si satura?

MAh... presumo di si:
https://communities.vmware.com/thread/453774?start=0&tstart=0
http://www.zdnet.com/article/virtual-cpus-the-overprovisioning-penalty-of-vcpu-to-pcpu-ratios/

Ma se ci pensi è anche logico.
Fai un esempio.
Hai una pCPU con due core e due thread, e 4 VM con una vCPU dual thred.
Ti trovi quindi con 4 pCPU e 8vCPU.
Ogni volta che l'hypervisor deve gestire la singola VM, deve ricaricare in memoria tutti i dati relativi a quel processo faccendo un notevolo overhead di lavoro.

Io proverei a ridurre il numero di vCPU sugli host e capire cosa succede

(Faccio un disclaimer che quanto detto sopra riguarda nozioni vecchie, quindi non so se ricordo bene o hanno cambiato le cose)

[nanotek]

Ops.. ho sbagliato nel leggere la ram.. chiedo venia ;)

Ma la differenza dovrebbe sentirsi solo se il carico della cpu inizia a salire. Chiaro che se metti più core virtuali di quelli fisici disponibili le VM inizieranno a rubarsi cicli di cpu a vicenda ma dovresti anche vedere che i core fisici si saturano.

[malatodihardware]

Tutti quei core sulle VM servono realmente o li metti solo perché li hai? La best practices di vmware è mettere meno core possibili e salire solo se necessario. Per VM ad uso "standard" difficilmente serve andare oltre i 4 core e spesso anche solo 2 sono sufficienti..

Paradossalmente ci sono dei casi in cui la VM potrebbe essere più performante riducendo il numero di core invece che incrementandolo. La ram non c'entra nulla..

Inviato dal mio Nexus 5

[Kaya]

Ops.. ho sbagliato nel leggere la ram.. chiedo venia ;)

Ma la differenza dovrebbe sentirsi solo se il carico della cpu inizia a salire. Chiaro che se metti più core virtuali di quelli fisici disponibili le VM inizieranno a rubarsi cicli di cpu a vicenda ma dovresti anche vedere che i core fisici si saturano.

Mai sentito parlare di Context Switch? https://en.wikipedia.org/wiki/Context_switch

Io, ripeto, valuterei di ridurre il numero di vCpu assegnte, o comunque fare dei test tenendo ben in considerazione questo fattore e cercare un riscontro.

[c3n2o]

Non possiamo ridurre il numero di CPU.. se no le VM si siedono..

Pur parlè (e per capire:muro: )..
abbiamo un altro server diverso dal Blade (è un R720) con 20 core (40 logical processor).. e ci sono 6 VM accese con un totale di 34 vCPU occupate, e oltre 50 Gb di RAM occupata (su 64Gb totali), però lo storage è in fibra.. e non c'è nessun rallentamento.. pur avendo come detto 6VM accese!!

Quindi forse quello che conta di più sono i logical processor che sul blade ne ha 32 (2x socket, 8x Core, 32x logical processor)..
..ma in questo caso cmq siamo al di sotto della soglia delle 32 vCPU, ma le VM si impallano cmq..:confused:

Oggi prometto di leggere tutti i link che mi avete mandato che sembrano molto interessanti

Grazie ancora

[malatodihardware]

Per curiosità cosa ospitano le VM?

Inviato dal mio Nexus 5

[Tasslehoff]

Forse mi sono perso qualche pezzo, però a me non è molto chiaro quali sono i sintomi.

Le vm risultano rallentate ma rispondono comunque oppure non rispondono del tutto?
Se i servizi non rispondono, le macchine sono cmq raggiungibili via rete (es ping, se icmp è permesso)?
Se con un ping si raggiungono i server, i servizi rispondono tramite telnet?

Quando parli di occupazione CPU a quali cpu ti riferisci?
Le CPU dell'host vmware o le vCPU delle vm?

Io non escluderei nulla.
Indagherei sia sugli aspetti giustamente evidenziati da Kaya, ma indagherei anche lato I/O.
Ad es, tu dici che le altre vm che risiedono su altri blade usano iSCSI come questo blade, ma questo non ci dice nulla su eventuali colli di bottiglia rappresentati da datastore troppo sollecitati.
A prescindere dal protocollo (iSCSI, FC, SAS, NFS etc etc etc...) è più facile che i problemi di I/O derivino dall'hardware troppo carico (o scarsamente performante) piuttosto che dalla scarsa banda data da controller/protocollo.
Hai verificato su quale datastore vanno a insistere le vm che girano su questo blade?
Le lun di quel datastore stanno tutte sullo stesso array oppure su array differenti?

Insisto poi sul monitoraggio anche lato guest, guardare le statistiche di vmware è utile, ma ti mostra solo una parte dell'architettura, devi controllare e monitorare anche lato guest, quindi sulle vm.

[c3n2o]

Per curiosità cosa ospitano le VM?

Sono server x immagini medicali, quindi necessitano di molte risorse hw..



Le vm risultano rallentate ma rispondono comunque oppure non rispondono del tutto?
Se i servizi non rispondono, le macchine sono cmq raggiungibili via rete (es ping, se icmp è permesso)?
Se con un ping si raggiungono i server, i servizi rispondono tramite telnet?

Quando parli di occupazione CPU a quali cpu ti riferisci?
Le CPU dell'host vmware o le vCPU delle vm?

...

Hai verificato su quale datastore vanno a insistere le vm che girano su questo blade?
Le lun di quel datastore stanno tutte sullo stesso array oppure su array differenti?


In questi giorni le macchine sono sotto test, quindi sono accese solo le 2 VM x i test (8vCPU e 16Gb ram) e le altre accese una alla volta seconda la necessità..
Appena finiscono i test inizierò a fare tutte queste prove consigliate..

Grazie molte;)

[alex87alex]

Una prova stupida che puoi fare è assegnare meno vcore ad ogni vm e vedere se regge...

[LoneRunner]

Ciao,

non riesci a postarci un po' di grafici del vSphere?

Da lì si intuisce se hai colli di bottiglia sullo storage, sulla Cpu o sulla network.

Inoltre cosa state usando come storage? E' collegato in Gbit? o in 10Gbit?

I vmware tool sono installati correttamente sulle VPS in questione?


Ti chiedo questo per escludere tutta una serie di fattori, tra cui in primis uno storage lento che, inesorabilmente, manda a palla le CPU dei nodi...

[Jones D. Daemon]

Piccola domanda: quale è la velocità di collegamento dello storage, e che tipo di storage stai usando?