Was ist HBM und warum brauchen KI-GPUs diesen Speicher?

HBM steht für High-Bandwidth Memory. Der Speicher soll in kurzer Zeit sehr große Datenmengen zwischen DRAM und Prozessor bewegen. Mehrere Speicher-Dies werden vertikal gestapelt und direkt neben der GPU auf einem Silizium-Interposer platziert. Tausende kurze, breite Leitungen verbinden beide Komponenten. Statt wenige Signale über lange Leiterbahnen immer schneller zu takten, überträgt HBM sehr viele Bits parallel. Das ermöglicht hohe Gesamtbandbreite und eine bessere Energieeffizienz pro übertragenem Bit.

Die Architektur ist entscheidend, weil Recheneinheiten ohne Daten warten. Ein KI-Beschleuniger kann Tausende arithmetische Einheiten besitzen, doch Modellgewichte, Aktivierungen, Gradienten und Kontext müssen fortlaufend ankommen. Hält der Speicher nicht Schritt, bleiben Teile des Chips ungenutzt. Mehr theoretische Rechenleistung erzeugt dann nur begrenzten Mehrwert. HBM ist deshalb kein nachträgliches Ausstattungsdetail, sondern Teil des Leistungsentwurfs und bestimmt, wie effektiv eine teure GPU tatsächlich arbeitet.

Ein HBM-Paket verbindet mehrere DRAM-Schichten über sehr kleine vertikale Durchkontaktierungen, sogenannte Through-Silicon Vias. Die Stapel sitzen zusammen mit der GPU auf einem Interposer mit besonders breiter Schnittstelle. Die kurze Distanz verbessert Signalwege, und die Breite ermöglicht hohen Durchsatz ohne extreme Frequenzen auf jeder Leitung. In einem Rechenzentrum zählt diese Effizienz doppelt: Jede eingesparte Energie bei der Datenbewegung reduziert auch die Wärme, die über Kühlung abgeführt werden muss.

Die Fertigung ist anspruchsvoll. Speicher-Dies müssen fehlerfrei sein, vertikale Verbindungen präzise funktionieren, große Interposer zuverlässig produziert und komplette Pakete getestet werden. Ein Defekt kann den Wert einer teuren Baugruppe mindern. Auch thermische Spannungen zwischen Speicherstapeln und heißem Rechendie müssen beherrscht werden. HBM-Kapazität lässt sich daher nicht wie Standardarbeitsspeicher kurzfristig ausweiten. Sie hängt von DRAM-Fertigung, Advanced Packaging, Substraten, Tests und Qualifizierung als gemeinsamer Lieferkette ab.

Beim Training werden Gewichte, Aktivierungen, Optimierungszustände und Gradienten immer wieder bewegt. Bei der Inferenz müssen Gewichte gelesen und Key-Value-Cache sowie Zwischenzustände für Anfragen gehalten werden. Größere Modelle, längere Kontextfenster, multimodale Eingaben und mehr gleichzeitige Nutzer erhöhen den Druck. Manche Operationen sind durch Rechenleistung begrenzt, andere durch den Datennachschub. Bei einem speichergebundenen Ablauf verdoppelt mehr Arithmetik den Durchsatz nicht, weil zusätzliche Einheiten ebenfalls warten.

Kapazität und Bandbreite sind verschiedene Größen. Kapazität bestimmt, wie viel Modell, Kontext und Batch nahe am Prozessor Platz findet. Bandbreite beschreibt, wie schnell diese Daten gelesen oder geschrieben werden. Mehr Kapazität kann die Verteilung eines Modells auf mehrere GPUs vermeiden. Mehr Bandbreite kann Tokenrate oder Auslastung erhöhen. Das Ergebnis hängt dennoch von Quantisierung, Datenlayout, Attention-Cache, Kommunikation und Software ab. Ein großer Speicherwert ersetzt keine gute Systemarchitektur.

GDDR ist schneller Grafikspeicher für Consumer-GPUs und viele Workstations. Die Speicherbausteine liegen typischerweise rund um die GPU auf der Platine und nutzen schmalere Kanäle mit hohen Signalraten. Für Spiele und kreative Anwendungen bietet diese Bauweise ein gutes Verhältnis aus Kosten, Kapazität und Leistung. HBM setzt auf Stapel, eine viel breitere Schnittstelle und komplexes Packaging. Dadurch erreicht es enorme Bandbreite in unmittelbarer Prozessornähe, verursacht aber höhere Fertigungs- und Entwicklungskosten.

HBM muss GDDR deshalb nicht überall ersetzen. Ein Notebook oder eine Spielgrafikkarte hat andere Preis-, Platz- und Reparaturanforderungen als ein Rechenzentrumsbeschleuniger, der rund um die Uhr ein großes Modell bedient. Wenn GDDR genug Bandbreite bietet, ist es die vernünftige Wahl. HBM lohnt sich, wenn Datenbewegung sehr teure Recheneinheiten ausbremst und Energie sowie Dichte den Aufpreis rechtfertigen. Die Speicherart zeigt die Zielanwendung, garantiert aber keinen Sieg in jedem Programm.

Neue Generationen erhöhen Bandbreite, Kapazität und Schnittstellenleistung. NVIDIA nennt für den H200 141 GB HBM3e und 4,8 TB/s. Die HGX-Dokumentation beschreibt Blackwell-Konfigurationen mit bis zu 8 TB/s; der B300 wird mit 288 GB HBM3e aufgeführt. Konfigurationen unterscheiden sich, doch die Größenordnung zeigt, dass Speicher heute zu den zentralen Daten eines Beschleunigers gehört. Er beeinflusst Modellgröße, Kontext und den Durchsatz eines Dienstes unmittelbar.

Mit Rubin folgt HBM4. NVIDIA zufolge verdoppelt HBM4 die Schnittstellenbreite gegenüber HBM3e. Rubin soll bis zu 22 TB/s und 288 GB erreichen, etwa 2,8-mal so viel Bandbreite wie Blackwell. Das sind angekündigte Plattformwerte, keine unabhängige Garantie für jede Anwendung. Software, Interconnect, Leistungslimits, Kühlung und die Art des Modells entscheiden, ob die zusätzliche Bandbreite genutzt wird oder ob Netzwerk und Berechnung zum nächsten Engpass werden.

Der Ausbau von KI-Rechenzentren steigert gleichzeitig die Nachfrage nach gestapeltem DRAM und Advanced Packaging. Hersteller müssen gute Speicher-Dies fertigen, stapeln, mit Interposern verbinden und das Gesamtpaket mit hoher Ausbeute testen. Neue Anlagen, Qualifizierung und Kapazität brauchen Zeit. Fehlt HBM oder Packaging, können fertige Beschleuniger knapp bleiben, selbst wenn der GPU-Die verfügbar ist. Deshalb beeinflussen Speicherverträge und Investitionen in Verpackungstechnik die Branche fast ebenso stark wie eine neue Rechenarchitektur.

Für europäische Betreiber geht es um Gesamtkosten. Genügend lokaler Speicher kann vermeiden, dass ein Modell auf zusätzliche GPUs verteilt wird, und Kommunikation sowie Stromverbrauch reduzieren. Überdimensionierte Kapazität bindet dagegen Kapital. Modellgröße, Präzision, Kontext, Nutzerzahl, Latenzziel, Energiepreis und Verfügbarkeit sollten die Beschaffung bestimmen. Auch Lieferzeit und langfristiger Support zählen. Die technisch stärkste Option ist nicht automatisch die wirtschaftlich oder energetisch nachhaltigste Infrastruktur für einen konkreten Dienst.

In einem Cluster bewegen sich Daten auch über GPU-Verbindungen, Netzwerk, Storage und Hostspeicher. Ein langsames Glied kann den Engpass lediglich verschieben. Schlechtes Batching, fragmentierte Belegung, ineffizienter Cache oder ein unoptimiertes Modell verschwenden teuren HBM. Quantisierung, Kompression, Scheduling und bessere Kontextverwaltung können wirtschaftlich mehr bewirken als ein Hardwaretausch. Software muss die Speicherhierarchie kennen und unnötige Bewegungen vermeiden, damit theoretische Bandbreite zu nutzbarer Arbeit wird.

Strom und Kühlung bleiben ebenfalls zentral. HBM ist pro Bit effizient, doch ein Paket mit Terabytes pro Sekunde arbeitet neben einer leistungsstarken GPU. Rackdichte, Flüssigkühlung, Netzwerk und Energieversorgung müssen gemeinsam geplant werden. Wer nur GPUs zählt, kann später feststellen, dass das Gebäude sie weder versorgen noch verbinden kann. KI-Infrastruktur ist ein Gesamtsystem. HBM ist die wichtige Brücke zwischen den Informationen des Modells und dem Silizium, das sie verarbeitet.

Kapazität, Bandbreite, Speichergeneration, Interconnect, Leistungsaufnahme und reale Last gehören in dieselbe Bewertung. Kapazität kann entscheiden, ob ein Modell auf eine GPU passt. Bandbreite kann Tokenrate oder Trainingsauslastung begrenzen. Ein seriöser Test nutzt jedoch dieselbe Modellarchitektur, Präzision, Batchgröße und Kontextlänge wie der geplante Dienst. Eine Zahl ohne passendes Szenario ist keine Beschaffungsentscheidung. Relevant ist das Verhältnis aus Qualität, Durchsatz, Energie und Kosten.

Primärdaten finden sich in der HGX-Dokumentation und im Rubin-Überblick von NVIDIA. Die HGX-Referenz listet Speicherkonfigurationen von H200, B200 und B300; der Rubin-Beitrag erklärt die angekündigte HBM4-Schnittstelle: https://docs.nvidia.com/enterprise-reference-architectures/hgx-ai-factory/latest/components.html und https://developer.nvidia.com/blog/inside-the-nvidia-rubin-platform-six-new-chips-one-ai-supercomputer/