Performance Probleme bei Intel NVMe’s mit aktuellem Intel Treiber 4.0
In den vergangenen Wochen hatte ich zwei Storage Spaces Direct Implemtierungen mit Intel NVMe DC P4600 als Cache Devices. Unsere Kunden hatten unterschiedliche Serverhardware einmal waren es 4 DataOn Server und einmal waren es 4 Fujitsu Server.
Bei den DataOn Server war Windows Server 2016 DataCenter Edition bereits durch den Hersteller installiert worden. Außerdem waren für die NVMe's die aktuellen Inteltreiber ebenfalls bereits installiert.
Da ich in der Vergangenheit immer mal wieder Probleme hatte, dass die Intel NVMe mit dem Windowstreiber nicht sauber erkannt wurden (gleiche Seriennummern), habe ich die Treiber so belassen wie vom Hersteller vorinstalliert.
Normalerweise, müssen bei Storage Spaces Direct für die NVMe's keine Hersteller Treiber installiert werden. Microsoft emfpiehlt die Windows eigenen Treiber zu verwenden.
Die Firmware wurde bei allen NVMe's aktualisiert.
Für die SMB Netzwerke kamen Mellanox ConnectX-4 25 Gbit Netzwerkkarten zum Einsatz.
Die RoCE Konfiguration wurde sowohl an den Netzwerkkarten als auch an den Switchen durchgeführt.
Der nachfolgende LiveMigration Test, mit dem wir die RoCE Konfiguration testen, zeigte keine Auffälligkeiten. Bis dahin alles soweit gut.
Performance Tests mit Intel NVMe und Inteltreiber 4.0
Der Performance Test mit der VMFleet sah dennoch nicht so aus wie erwartet.
Für alle nachfolgenden Tests mit der VMFleet habe ich folgende Einstellungen gewählt:
buffer size/alighment; threads/target; outstanding/thread; write%
$b = 8; $t = 8; $o = 20; $w = 30
buffer size/alighment; threads/target; outstanding/thread; write%
$b = 8; $t = 8; $o = 20; $w = 30
Hohe Schreib- und Leselatenzen und schlechte IOP Werte, eines war sofort klar, da stimmt was nicht. Zuerst hatte ich die Netzwerkswitche in Verdacht, diese wurden dann aktualisiert - leider ohne spürbaren Erfolg.
Am darauffolgenden Tag war ich bei meinem zweiten Kunden. Auch hier zeigte der Performance Test mit der VMFleet ein ähnlich schlechtes Ergebnis. Jetzt war klar, es muss an den NVMe's liegen.
Wir haben die NVMe Treiber deinstalliert und nach dem Neustart aller Cluster Knoten die vorherige Version der NVMe Treiber installiert und getestet.
Performance Tests mit Intel NVMe und Inteltreiber 3.2
Dieser Performance Test mit der VMFleet wurde mit den gleichen Settings wie oben ausgeführt.
Und siehe da, die Schreib- und Leselatenzen sind jetzt super und die IOPs haben sich verdoppelt, bei diesen Systemen ist jetzt die CPU der bremsende Faktor.
Jetzt wollte ich natürlich wissen, wie die Test mit den Windows Treibern aussehen. Also wieder alle Treiber deinstalliert und alle Cluster Server neu gestartet.
Performance Tests mit Intel NVMe und Mircosofttreiber
Nachdem die Windowstreiber ähnlich gute Werte beim Performance Test mit der VMFleet gebracht haben und die NVMe's mit der aktuellen Firmware in Windows auch problemlos erkannt wurden, haben wir die Windowstreiber wie von Microsoft empfohlen beibehalten.
Es ist immer wieder spannend aber auch erschreckend zu sehen, welchen Einfluss die eingesetzten Treiber auf die Systeme haben.
Daher testen, testen, testen.......
viel Spaß bei eurer Arbeit und bis zum nächsten Mal
Petra
