Teil 2 – Grundlegende Anforderungen für Storage Spaces Direct | Hyper-V Server Blog

Teil 2 – Grundlegende Anforderungen für Storage Spaces Direct

Bisher erschienene Teile der Blogpostserie

In diesem Teil möchte ich ein besonderes Augenmerk auf die Hardwareanforderungen für Storage Spaces Direct legen.

Es ist für den produktiven Betrieb unerlässlich, dass alle Systeme, Komponenten, Geräte und Treiber für Storage Spaces Direct durch Microsoft für den Windows Server 2016 zertifiziert sind.

Unter folgendem Link findet Ihr sogenannte WDDS (Windows Server Software-Defined) Systeme  von verschiedenen Herstellern für Storage Spaces Direct. Die dort aufgeführten Hersteller haben ausgewählte Konfigurationen für Storage Spaces Direct bei Microsoft zertifiziert. Vorteil dieser zertifizierten Systeme ist, diese Server sind getestet und zertifiziert, die Hersteller supporten diese Systeme bei Problemen. Nachteil, es stehen nur bestimmte Konfigurationen zur Verfügung, die nur sehr eingeschränkt, wenn überhaupt angepasst werden können. 

Passt die WDDS Hardware für eure Anforderungen nicht, müsst Ihr die Serversysteme selbst zusammenstellen, dabei ist einiges zu beachten. Oberstes Gebot, alle ausgewählten Komponenten müssen für Windows Server 2016 im Server Catalog und am besten für Software-Defined Data Center (SDDC) Premium oder Standard zertifiziert sein. Die Hersteller müssen die ausgewählten HBAs, Festplatten, NICs usw. in ihren Systemen unterstützen. 

hier zwei Beispiele aus dem Windows Server Catalog mit entsprechender Zertifizierung: 

Im Folgenden möchte ich die einzelnen Komponenten näher betrachten.

Server:

Es können Standard Server mit bis zu max. 100 TB  Devices in einem Server verwendet werden. Storage Spaces Direct kann mit 2 bis max. 16 Servern betrieben werden.

2-Knoten Storage Spaces Direct Failover Cluster:
  • Nur 2-Wege Spiegel
  • 1 Knoten kann ausfallen
3-Knoten Storage Spaces Direct Failover Cluster:
  • 2- Wege und 3-Wege Spiegel (unsere Empfehlung ist immer ein 3 Wege Spiegel einzurichten)
  • 1 Knoten und mehrere Festplatte in einem weiteren Knoten können ausfallen
  • es dürfen gleichzeitig nicht mehr als die Hälfte aller Festplatten (ohne OS Disks) ausfallen. (Diskmajority)
4-Knoten - 16-Knoten Storage Spaces Direct Failover Cluster:
  • 2-Wege und 3-Wege Spiegel (unsere Empfehlung ist immer ein 3 Wege Spiegel einzurichten)
  • Single und Double Parity (auch hier ist unsere Empfehlung mit der Double Parity zu arbeiten)
  • Hybrid Disk (Mirror und Parity)
  • bis zu 2 Knoten können ausfallen oder 2 unterschiedliche Festplatten in unterschiedlichen Servern.
CPU:
  • Mindestanforderung ist eine Intel Nehalem CPU oder ein höherer kompatibler Prozessor. Eine AMD EPYC CPU oder ein höherer kompatibler Prozessor
  • Bei einer Storage Spaces Direct hyper-converged Lösung sollte darauf geachtet werden, dass die CPU den Anforderungen gemäß größer gewählt wird, da hier der Server nicht nur für die Virtualisierung sondern auch für das Storage genügend Performance benötigt.
Arbeitsspeicherbedarf:
  • Pro 1 TB Caching Device müssen 4 GB RAM pro Server zur Verfügung stehen
  • Beispielrechnung:
    2x 3,2 TB Caching Devices => 2 x 3,2 x 4 GB = 25,6 GB RAM
  • Zusätzlich muss der Arbeitsspeicherbedarf für die Server, für die VMs oder SQL Workloads berechnet werden. Beachten Sie bitte auch, dass die Server noch genügend Arbeitsspeicher Reserve haben, um beim Ausfall von Failover Clusterknoten die Workloads dieser Server aufnehmen zu können.
Storage Device Anbindung:

Für Storage Spaces Direct benötigen wir zwingend einen Hostbus Adapter (HBA)

  • Einfacher Pass-Through SAS HBA für SAS und SATA Devices
  • SCSI Enclousure Services (SES) für SAS und SATA Devices
  • Jedes Direct-Attached Storage Enclosure muss eine Unique ID präsentieren.
Nicht unterstützt:
  • RAID Controller oder SAN (Fibre Channel, iSCSI, FCoE) Laufwerke
  • Multipath IO (MPIO) oder physische über mehrere Pfade angebundene Laufwerke
Laufwerke:
Voraussetzungen:
  • Jedes Laufwerk muss lokal in einem Server angeschlossen sein
  • Als Laufwerkstypen werden SAS, SATA und NVMe unterstützt
  • In jedem Server sollten die selben Laufwerke (Typ, Größe, Anzahl, Modell, Firmware) verbaut sein. Ausführliche Infos hierzu findet ihr unter Drive symmetry considerations for Storage Spaces 
  • Bei den SSDs müssen Enterprise SSDs verwendet werden, die „Power-loss Protection“ unterstützen. Außerdem sollte bei der Auswahl der SSDs genau darauf geachtet werden für welches Einsatzszenario diese benötigt werden. Schreibintensiv, Leseintensiv oder eine Mischung aus Beiden
  • Wir werden immer  wieder gefragt ob für Storage Spaces Direct nicht auch Consumer SSDs verwendet werden können - ein ganz klares NEIN!!! Es gibt hierzu von Dan Lovinger einen sehr guten Blogbeitrag dazu mit dem Titel:  "Don't do it: consumer-grade solid-state drives (SSD) in Storage Spaces Direct" 
  • Bei den Cache Laufwerken ist folgendes zu beachten:
    die SSDs oder NVMe’s sollten einen DWPD (Drive Write per Day) Wert von mindesten 3 haben oder mit  4TB pro Tag beschrieben (TBW) werden können, dieser Wert muss auf die Lebensdauer (meist 5 Jahre) der SSD oder der NVMe berechnet sein. Wie wir anhand der Hersteller Angaben berechnen können, ob die gewünschte SSD oder NVMe den Anforderungen entspricht, darüber mehr in Teil 3.
  • Wer nicht solange warten möchte, kann hier schon mal Infos dazu finden.
  • Das Betriebssystem sollte auf einem Laufwerk mit Raid1 installiert sein. Vorzugsweise auch auf SSDs. Microsoft gibt 200GB Größe als Empfehlung an.
Unterstütze Laufwerke:

HDD für Kapazität

  • 2,5“ und 3,5“ Formfaktor
  • Langsam (80 – 200 IOPS) bis 200MB/s Datentransfer
  • Günstig

SSD für Performance oder als Cache

  • 2,5“ und 3,5“ Formfaktor
  • Schnell (Read and Write > 10.000 IOPS) bis 750MB/s Datentransfer
  • Teuer

NVMe als Cache oder für Performance

  • 2,5“ und PCIe Slot Formfaktor
  • Schnell (Reads > 100.000 IOPS) bis 5.000MB/s Datentransfer
  • Teuer
Minimunanzahl Laufwerke pro Knoten (ohne die Betriebssystem Festplatten):
  • 2 Cache Laufwerke und 
  • 4 Kapazität Laufwerke
  • hier einige Beispiele für die Mindestanforderung der Laufwerke:

Laufwerkstpyen:

  • nur NVMe (gleiches Modell)
  • nur SSDs (gleiches Modell)
  • NVMe + SSD
  • SSD + HDD
  • NVMe + SSD + HDD

Minimal Anzahl pro Knoten:

  • 4 NVMe
  • 4 SSD
  • 2 NVMe + 4 SSD
  • 2 SSD + 4 HDD
  • 2 NVMe + 4 Andere
Maximums:
  • 100 TB (brutto) Festplattenkapazität pro S2D Knoten
  • 1 PB (Petabyte) Brutto Kapazität pro Storage Pool

Erweiterung durch JBODs:

  • wird grundsätzlich von Microsoft unterstützt.
  • Unsere Empfehlung ist: keine JBODS zu verwenden, da diese nur über einen Single Pfad angebunden werden können. Microsoft unterstützt bei Storage Spaces Direct kein MPIO!
  • Ein JBOD pro S2D Knoten - kein shared JBOD.

Netzwerk:

  • Minimum 10 Gbit für die interne Clusterkommunikation (Ost-West Traffic). Für Performance und Ausfallsicherheit empfiehlt Microsoft hierfür zwei NICs a 10 Gbit zu verwenden.
  • Die Netzwerkkarten sollten RDMA (remote direct memory access) mit dem Protokoll RoCE oder iWARP unterstützen.
  • Bei einem 2 Knoten Storage Spaces Direct Failover Cluster ist es von Microsoft supported die SMB NICs direkt miteinander zu verbinden (ohne Switche). Bei den ​WDDS (Windows Server Software-Defined) Systemen muss jedoch darauf geachtet werden, dass auch der Hardware Hersteller dies unterstützt.
  • Für die RoCE Konfiguration müssen VLANs angelegt werden, da die Infos zu RoCE im VLAN Header übertragen werden.
  • bei den eingesetzten Switche ist eine Unterstützung von PFC (Priority Flow Control) erforderlich , ETS (Enhanced Transmission Selection) wünschenswert .

Im Teil 3 geht es um „​​SSD und NVMe, DWPD, TBW und PBW berechnen und verstehen

gutes Gelingen und bis zum nächsten Mal 

Petra

Petra Lipp
 

Petra Lipp ist ausgebildete Datenverarbeitungskauffrau mit 20 jähriger Berufserfahrung. Seit Februar 2015 verstärkt sie das Team der Rachfahl IT-Solutions GmbH & Co KG. Petra Lipp ist MCSE Private Cloud, MCSA Windows Server 2012 und 2008, MCITP Virtualization Administrator on Windows Server 2008 R2, MCITP Enterprise Administrator on Windows Server 2008, VEEAM Certified Engineer (VMCE)

  • Wolfgang sagt:

    Hallo, vielen Dank für den Blogeintrag. Wie groß sollten den die Cache-Laufwerk sein? Gibt es hier einen Richtwert?

  • Franz sagt:

    danke für den Artikel.
    Kann man die Größe des Storage durch hinzufügen weiterer Knoten erweitern?
    Man startet mit 2 Knoten und benötigt nach 2 Jahren mehr Platz.
    Genügt es dann einfach einen weitern Knoten hinzuzufügen?
    Und später vielleicht noch einen weiteren Knoten?

  • Petra Lipp sagt:

    Hallo Wolfgang,
    die Cache-Laufwerke sollten mindestens 10 % der Geamtkapazität haben.

  • Petra Lipp sagt:

    Hallo Franz,
    ja, grundsätzlich kann man das so machen. Nur würde ich diese Vorgehensweise erst ab einem 4 Knoten Cluster durchführen.
    Ab einem 4 Knoten Cluster hast du alle Möglichkeiten was die Resiliency (drei Wege Spiegel und Double Partity) der Virtual Disks anbelangt und musst nicht bei der Erweiterung gegebenenfalls die Resiliency der Virtual Disks anpassen.

  • Lukas sagt:

    Kann man als HDD-Layer (bei einem NVMe+SSD+HDD-Szenario) auch Consumer-SSDs einsetzen, die kein PLP unterstützen (also z.B. Samsung 850Pro)? Grund: Wir hätten davon noch jede Menge Altware, die wir gerne statt – neu zu kaufender – SATA-HDDs einsetzen würden. Sollten ja dennoch besser laufen, als HDDs …

  • Petra Lipp sagt:

    Hallo Lukas,
    SSDs und NVMe’s müssen PLP unterstützen – das ist keine kann Aussage!!
    Storage Spaces Direct unterscheidet im StoragePool nur zwischen SSDs und HDDs – somit kann man keine unterschiedlich schnellen SSDs einsetzen – das macht keinen Sinn.

    Viele Grüße
    Petra

  • Constantin F. sagt:

    Hallo Frau Lipp,

    ich bin momentan in einer Sackgasse angekommen. Ich will S2D in einer 2-Node Operation implementieren. Mir liegen interessante Angebote für Server vor – eines davon ist ein Dell R740. Ich habe darauf geachtet, dass die Hardware (als auch der Server selbst) im Windows Server Catalog als SDDC Premium zertifiziert gelten, hier mal kurz die Aufstellung:

    2 x Intel Xeon Gold 6134 Processor 3,2 GHz, 8C/16T
    64 GB RAM
    4 x 1,8 TB SAS 10k HDD
    2 x 480 GB Intel S4600 SATA SSD
    Boss Controller – 2 x M.2 Sticks RAID1 for OS
    HBA 330
    1 x Mellanox Dualport ConnectX-4 LX 25 GbE (RDMA)
    1 x Intel X710 10GbE Dualport (production LAN)
    3 yr ProSupport 4hr Mission Critical

    Was halten Sie davon?

    Und: ich hatte mich über meine Situation mit einem S2D Enthusiasten unterhalten und dieser meinte dann bei meiner Bemerkung über den Dell R740: “GO to SATA devices. SAS are not supported with S2D by Dell”

    Das hat mich kalt erwischt und ich kann es ehrlich gesagt auch fast nicht glauben – wissen Sie etwas dazu?

    Im Voraus besten Dank und viele Grüße

  • Petra Lipp sagt:

    Hallo Constantin,

    du hast sicherlich Verständnis, dass wir an dieser Stelle keine Beratung durchführen. Wenn wir die Spezifikation deiner Angebote durchführen sollen, dann gerne über den “normalen” Dienstleistungsweg. Du kannst dir aber gerne folgendes PDF von Dell “DellEMCMicrosoft_StorageSpacesDirect_ReadyNode2.1_PowerEdgeR740xdPowerEdgeR640-SupportMatrix-A02.pdf” herunterladen – da findest du die Antwort auf deine Frage. Es werden SAS und SATA Disks unterstützt.
    Ich hoffe, ich konnte dir mit dieser Antwort weiterhelfen.
    Viele Erfolg
    Petra

  • >