KAYTUS stellt KR1280V2 vor - ein 1U-Server mit 32 E1.S SSDs, der die I/O-Leistung für LLM-Training erhöht

KAYTUS, ein führender IT-Infrastrukturanbieter, stellte auf der ISC High Performance 2024 seinen High-Density-Computing-Server KR1280V2 vor. Er unterstützt 32 E1.S SSDs und erreicht damit eine beeindruckende Flash-Speicherdichte von 512 TB in einem 1U-Formfaktor. Im Vergleich zur letzten Generation setzt der KR1280V2 auf ein Speicher- und Netzwerkdesign mit geringer Latenz, der die E/A-Leistung mit hoher Parallelität für LLM-Trainingsszenarien verdoppelt und die Effizienz des Modelltrainings verbessert.

Dieser 1U2S-Flaggschiff-Server wird von den neuesten Intel-, AMD- oder ARM-Prozessoren angetrieben. Der KR1280V2 verfügt über eine optimierte Kühlungsstrategie, um CPUs mit der höchsten TDP über alle Plattformen hinweg ohne Konfigurationseinschränkungen zu unterstützen. Außerdem führt er eine neuartige Front-I/O-Konfiguration ein, die die Skalierbarkeit mit 8 PCIe 5.0-Erweiterungskarten verbessert und die Wartungseffizienz in Rechenzentren erhöht. Der Laufwerkseinschub des Servers wurde optimiert, um eine innovative Speicherkonfiguration mit 12 SFF-Laufwerken an der Vorderseite zu bieten, die die Speicherdichte um 20 % erhöht.

Unterstützt 32 E1.S SSDs ohne Leistungseinbußen und liefert zig Millionen IOPS

Angetrieben von Intel Xeon Prozessoren der 5. Generation und mit einer bemerkenswerten Rechendichte unterstützt der KR1280V2 bis zu 32 All-Flash E1.S SSDs, die direkt mit CPUs in einem 1U-Formfaktor verbunden sind. Diese Konfiguration nutzt die volle I/O-Rate von PCIe 5.0, maximiert den Durchsatz zwischen CPUs und Speicher und erreicht einen Speicherdurchsatz von bis zu 160 GB/s. Durch die Lastverteilung auf zwei OCP 3.0-Karten verdoppelt sich die Netzwerkbandbreite, wodurch verschiedene Anforderungen an die Datenspeicherung und -verarbeitung erfüllt und die Gesamtleistung um 60 % gesteigert werden.

Mit ultimativer Flash-Speicherdichte verdoppelt der KR1280V2 effektiv die Leistung von LLMs mit hoher Parallelität

Der KR1280V2 erreicht in verteilten Speicherszenarien eine Leistung von mehreren zehn Millionen IOPS, was eine bemerkenswerte Verbesserung von 77 % bedeutet. Der Einsatz von KR1280V2-Servern für groß angelegte LLM-Training gewährleistet eine Verdoppelung der E/A-Leistung bei hoher Parallelität im Vergleich zur vorherigen Generation. Mit der zunehmenden Anzahl von Grafikprozessoren und einer steigenden Arbeitslast wird die Latenzkurve des KR1280V2 glatter und vorhersehbarer, so dass sich die Datenlatenz auch im Vergleich zur vorherigen Generation um beachtliche 13 % verbessert. Diese bedeutenden Fortschritte verbessern die Effizienz der Datenaufbereitung, des Modelltrainings und der Datenverwaltung bei gleichzeitiger Reduzierung des verschwendeten Speicherplatzes. Folglich bietet sie robuste Speicherkapazität und Leistung für innovative LLM-Anwendungen und unterstützt besser Java-basierte Geschäftsszenarien, die große Datenmengen, geringe Latenz und hohe Gleichzeitigkeit erfordern, wie z. B. im Finanzwesen, bei Cloud-Services, in Unternehmen und anderen Rechenzentrumsanwendungen.