NVIDIA DGX Spark

Einfach erklärt

Der DGX Spark hat ungefähr die Grundfläche einer Untertasse und ist gut fünf Zentimeter hoch – ein Gerät, das neben dem Monitor steht und trotzdem Sprachmodelle ausführt, für die man sonst einen Server bräuchte.

Was technisch passiert

Im Inneren arbeitet der GB10 Grace Blackwell Superchip. Er vereint eine Arm-CPU mit 20 Kernen, zehn vom Typ Cortex-X925 und zehn vom Typ Cortex-A725, mit einer GPU der Blackwell-Generation. Beide greifen auf 128 GB LPDDR5x zu, die NVIDIA als kohärenten, gemeinsam genutzten Systemspeicher bezeichnet; die Bandbreite beziffert der Hersteller mit 273 GB/s. Das Gehäuse misst laut Handbuch 150 × 150 × 50,5 mm und wiegt 1,2 kg. Als Betriebssystem läuft NVIDIA DGX OS.

Für die Vernetzung besitzt das Gerät neben einem 10-Gigabit-Ethernet-Anschluss eine ConnectX-7-Netzwerkkarte mit zwei QSFP-Anschlüssen. Jeder Port liefert nach Angabe des Handbuchs bis zu 200 Gbit/s, abhängig vom verwendeten Kabel. Zu jeder dieser Ethernet-Schnittstellen gehört eine RoCE-Schnittstelle, über die Systeme Daten direkt in den Speicher eines anderen Geräts schreiben. NVIDIAs Einrichtungswerkzeug unterstützt bis zu drei direkt verkabelte Geräte und bis zu vier über einen Switch. Für vier vernetzte Systeme nennt NVIDIA auf der Produktseite Modelle mit bis zu 700 Milliarden Parametern; das ist eine Herstellerangabe, keine eigene Messung.

In der Praxis

AI SolutionX betreibt vier dieser Geräte als Forschungsverbund. Sie hängen mit 200-Gbit-Verbindungen je Pfad an einem 400-Gbit-Switch – die Variante, die NVIDIA für vier Systeme vorsieht. Ein Sprachmodell wird dabei per Tensor Parallelism auf alle vier verteilt. Im hybriden Ansatz übernimmt ein einzelner Spark dagegen schnelle Standardaufgaben wie Klassifikation oder Extraktion; der Verbund ist für Modelle reserviert, die den Speicher eines Geräts übersteigen. Für Unternehmen ist der Vier-Spark-Aufbau ausdrücklich ein Forschungsprojekt und kein Standardprodukt.

Wann ist das sinnvoll?

• Für Entwicklung, Erprobung und Betrieb lokaler Modelle, wenn ein Server im Rack dafür überdimensioniert wäre.
• Wenn große Modelle im eigenen Haus laufen sollen und die Speichergröße wichtiger ist als das höchste Tokentempo.
• Als Baustein eines kleinen Verbunds, wenn ein einzelnes Gerät für das gewünschte Modell nicht reicht.
• Weniger geeignet für viele gleichzeitige Nutzer mit hohem Durchsatzbedarf; dafür sind Server mit mehreren GPUs gebaut.