Cisco UCS Blade Profile Settings für Hyper-V | Hyper-V Server Blog

Cisco UCS Blade Profile Settings für Hyper-V

imageMomentan arbeite ich in einer Kundenumgebung in der eine Menge Cisco UCS System verwendet werden. Es hat sich herausgestellt, das wir bei bestimmten VMs (Windows Server 2008 R2 mit 4 vCPUs) auf Hyper-V und VMware sehr unterschiedliche Performance feststellen.  Wir messen bei einem Test unter Hyper-V 30 Sekunden und mit der gleichen VM und dem gleichen Test auf VMware 13,5 Sekunden. Wenn VMware langsamer wäre könnte ich damit leben aber andersherum – das geht gar nicht.

Nach langem Testen sind wir dann auf die BIOS Einstellungen gekommen die offensichtlich drastische Effekte bei den beiden Hypervisoren haben. Wer jetzt nach UCS BIOS Settings für Hyper-V sucht wird nicht fündig und für VMware und Virtualisierung bekommt man im wesentlichen die zwei Dokumente die ich weiter unten im Post verlinkt habe. Leider sind diese nicht hundertprozentig genau und zum Teil sogar widersprüchlich.

Deswegen haben wir experimentiert und die  für unser Szenario besten Werte herausgespielt (mit den neuen Werten läuft der Test unter Hyper-V  mit 12 Sekunden). Die wichtigen Werte, die dabei die Verlangsamung gegenüber VMware verursachten, sind die Prefetcher (Hardware Prefetcher, Adjacent Cache Line Pre-fetcher, DCU Stream Pre-fetcher und DCU IP Pre-fetcher). Diese waren auf Platform Default eingestellt was in unserem Fall eingeschaltet bedeutete.

Hier alle Settings nochmal als Text und im Screenshot:

Cisco_UCS_BIOS_PoliciesTurbo Boot – enabled
Enhanced Intel Speedstep – enabled
Hyper- Threading – enabled
Core Multi Processing – all
Execute Diable Bit – enabled
Virtualization Technology (VT) – enabled
Hardware Prefetcher – disabled
Adjacent Cache Line Pre-fetcher – disabled
DCU Stream Pre-fetcher – disabled
DCU IP Pre-fetcher – disabled
Direct Cache Access – enabled
Processor C State – disabled
Processor C1E – disabled
Processor C3 Report – disabled
Processor C6 Report – disabled
Processor C7 Report – disabled
CPU Performance – hpc
MAX Variable MTRR Setting – Platform Default
Local X2 APIC – auto
Power Technology – performance
Energy Performance – performance
Frequency Floor Overide – enabled
P-STATE Coordination – hw-all
DRAM Clock Throttling – performance
Channel Interleaving – auto
Rank Interleaving – auto
Demand Scrub – enabled
Patrol Scrub – enabled
Altitude – 300m

Hier findet man die beiden erwähnten Dokumente:

http://www.cisco.com/c/en/us/products/collateral/servers-unified-computing/ucs-b-series-blade-servers/whitepaper_c11-727827.html#Virtualization

http://www.cisco.com/c/en/us/products/collateral/servers-unified-computing/ucs-b-series-blade-servers/whitepaper_c07-614438.html

Carsten Rachfahl
 

Dipl. Ing. Carsten Rachfahl ist seit mehr als 25 Jahren in der IT-Branche tätig. Er ist einer der geschäftsführenden Gesellschafter der Rachfahl IT-Solutions GmbH & Co. KG und für den technischen Bereich verantwortlich.

  • Patrick sagt:

    Das ins. C-State und Power Saving Settings einen spürbaren Einfluss auf Virtualisierungsumgebungen haben ist nicht wirklich neu. Insbesondere bei VMs mit mehren vCPUs wird das spürbar. Es ist durchaus ein Common Practice Anpassungen an C-State und Power Saving Settings vorzunehmen (z.B. HP Static High Performance mode bei HP ProLiants). Das betrifft VMware ESXi und Microsoft Hyper-V gleichermaßen.

  • Hi Patrick,

    das mit den C-States und den PowerSettings ist wahrlich nicht neu und war bei dem Kunden auch gesetzt! Was für mich aber vollkommen neu ist, ist der enorme Einfluß den die CPU Prefetcher auf die Laufzeit haben. Die Prefetcher sind keine Green-IT Eigenschaften sondern sollen die Bearbeitung durch vorausladen von Daten in die CPU Caches beschleunigen. Allerdings haben Sie bei der Virtualisierung genau den gegenteiligen Efekt.

    Carsten
    Gruß Carsten

  • Mario sagt:

    Hallo!

    Zuerst einmal Gratulation zu Eurem Blog!
    Wir sind gerade dabei eine Hyper-V Farm aufzubauen (Ablöse VMware). … Habt Ihr sonst noch welche Einstellungen geändert?

    Danke für Eure Info!

    VG
    Mario

  • Michael sagt:

    Hallo,

    Danke für diese Informationen!

    wir haben auch massive Performance-Probleme mit Hyper-V auf UCS Blades (B200M3) und VMs mit 8 vCPUs. Bei unserer Firmware-Version (meines Wissen 2.2) müssen die Einstellungen für “Power Technology” und “CPU Performance” auf “custom” gestellt werden, damit die Prefetch und Energy Performance Einstellungen nicht ignoriert werden.

    Viele Grüße
    Michael

  • Robert sagt:

    The settings above for Hyper-V on UCS Blades do you still find them valid ?
    I have a PDF from CISCO that indicates that I should actually enable prefetching for Hyper-V 2012.
    Robert

  • >