Supermicro erweitert seine KI- und GPU-Rack-Scale-Lösungen um Unterstützung für Beschleuniger der Serie AMD Instinct MI300 - Seite 2

Erfahren Sie mehr über Supermicro-Server mit AMD-Beschleunigern

Das LLM-optimierte AS –8125GS-TNMR2-System basiert auf der Bausteinarchitektur von Supermicro, einem bewährten Design für Hochleistungs-KI-Systeme mit luft- oder flüssigkeitsgekühlten Rack-Scale-Designs. Das ausgewogene Systemdesign verbindet eine GPU mit einem 1:1-Netzwerk, um einen großen Pool an Speicher hoher Bandbreite über Knoten und Racks hinweg bereitzustellen und die größten Sprachmodelle von Heute mit bis zu Billionen Parametern zu unterstützen, das Parallelrechnen zu maximieren und die Trainingszeit und Inferenzlatenz zu minimieren. Das 8U-System mit dem MI300X OAM-Beschleuniger bietet die rohe Beschleunigungsleistung einer 8-GPU mit den AMD Infinity Fabric Links und ermöglicht eine maximale theoretische P2P-I/O-Bandbreite von bis zu 896 GB/s auf der offenen Standardplattform mit branchenführenden 1,5 TB HBM3-GPU-Speicher in einem einzigen System sowie systemeigene Unterstützung dünn besetzter Matrizen, die darauf ausgelegt sind, Strom zu sparen, Rechenzyklen zu verkürzen und die Speichernutzung für KI-Workloads zu reduzieren. Jeder Server verfügt über Dual-Socket-Prozessoren der AMD EPYC 9004-Serie mit bis zu 256 Kernen. Im Rack-Maßstab stehen über 1000 CPU-Kerne, 24 TB DDR5-Speicher, 6,144 TB HBM3-Speicher und 9728 Recheneinheiten für die anspruchsvollsten KI-Umgebungen zur Verfügung. Durch den Einsatz des OCP Accelerator Module (OAM), mit dem Supermicro über umfangreiche Erfahrung in 8U-Konfigurationen verfügt, kann ein vollständig konfigurierter Server schneller auf den Markt gebracht werden als bei einem kundenspezifischen Design, wodurch Kosten und Lieferzeit reduziert werden.

Supermicro stellt außerdem einen dichteoptimierten flüssigkeitsgekühlten 2U-Server vor, den AS –2145GH-TNMR, und einen luftgekühlten 4U-Server, den AS –4145GH-TNMR, jeweils mit 4 AMD Instinct MI300A-Beschleunigern. Die neuen Server sind für HPC- und KI-Anwendungen konzipiert, die eine extrem schnelle Kommunikation zwischen CPU und GPU erfordern. Die APU beseitigt redundante Speicherkopien, indem sie die leistungsstärkste AMD-CPU, GPU und den HBM3-Speicher auf einem einzigen Chip kombiniert. Jeder Server enthält führende x86 „Zen4"-CPU-Kerne für die Anwendungsskalierung. Außerdem verfügt jeder Server über 512 GB HBM3-Speicher. In einer Full-Rack-Lösung (48U), bestehend aus 21 2U-Systemen, stehen über 10 TB HBM3-Speicher sowie 19.152 Recheneinheiten zur Verfügung. Die HBM3-zu-CPU-Speicherbandbreite beträgt 5,3 TB/Sekunde.