Zum Inhalt springen

TechnikLesezeit 8 Min.

Grafikspeicher für Sprachmodelle abschätzen: Gewichte, KV-Cache und Zuschlag

Ob ein Sprachmodell auf eine Grafikkarte passt, lässt sich vor der Bestellung rechnen. Der Bedarf setzt sich aus drei Posten zusammen, von denen nur einer mit dem Modell feststeht.

Verantwortet vom Fachbereich Plattform

Eine passiv gekühlte Grafikkarte für Rechenzentren liegt flach auf hellem Grund, die vergoldete Steckleiste zur Kamera; daneben ein einzelner Speicherbaustein auf grauem Schaumstoff.

Auf einen Blick

  • Die Gewichte belegen Parameterzahl mal Byte je Parameter: zwei Byte in BF16 oder FP16, ein Byte in FP8 oder INT8 und ein halbes Byte bei vier Bit.
  • Der KV-Cache wächst mit Kontextlänge und Zahl der gleichzeitigen Anfragen und kann bei langen Kontexten mehr Grafikspeicher belegen als die Gewichte.
  • Für Laufzeitumgebung und Aktivierungen gilt ein Zuschlag von einem Zehntel bis einem Fünftel als Faustwert, kein Messwert.

Drei Posten im Grafikspeicher

Ein Sprachmodell belegt im Grafikspeicher drei Dinge: seine Gewichte, den KV-Cache der laufenden Anfragen und einen Rest für die Laufzeitumgebung, Zwischenergebnisse und Verschnitt. Die Gewichte stehen mit Modell und Datentyp fest. Der KV-Cache hängt davon ab, wie lang die Kontexte sind und wie viele Anfragen gleichzeitig laufen; den Rest bestimmt die Software.

Wer nur die Gewichte rechnet, bestellt zu klein. Ein Modell, dessen Gewichte gerade in eine Karte passen, hat keinen Platz mehr für einen einzigen langen Kontext.

Gerechnet wird in diesem Beitrag dezimal, mit 1 GB gleich einer Milliarde Byte. Werkzeuge im Gastsystem zeigen oft GiB an; ein GiB ist rund 7 % größer als ein GB.

Gewichte: Parameterzahl mal Byte je Parameter

Jeder Parameter belegt so viele Byte, wie sein Datentyp vorgibt. BF16 und FP16 speichern einen Wert in zwei Byte, FP8 und INT8 in einem Byte, ein Format mit vier Bit in einem halben Byte. Bei Milliarden Parametern ergibt das Produkt direkt Gigabyte.

Die Parameterzahl steht in der Modellbeschreibung; als Gegenprobe dient die Größe der Gewichtsdateien, die in BF16 rund doppelt so viele Gigabyte umfassen, wie das Modell Milliarden Parameter hat. Bei Modellen aus mehreren Experten zählen alle Experten: Je Token rechnet nur ein Teil von ihnen, im Grafikspeicher liegen aber alle.

Gewichte in GB = Parameter in Milliarden × Byte je Parameter

Grafikspeicher der Gewichte nach Datentyp
DatentypByte je Parameter8 Milliarden Parameter70 Milliarden Parameter
BF16 oder FP16216 GB140 GB
FP8 oder INT818 GB70 GB
4 Bit0,54 GB35 GB

Bei vier Bit liegt der tatsächliche Wert etwas darüber: Skalierungsfaktoren je Gruppe von Gewichten werden mitgespeichert, und einzelne Schichten bleiben oft in höherer Genauigkeit. Ob ein kleinerer Datentyp die Antwortqualität für Ihre Aufgabe hält, zeigt nur ein Test mit Ihren eigenen Daten.

Für Training reicht diese Rechnung nicht. Gradienten und Zustände des Optimierers kommen zu den Gewichten hinzu, und der Bedarf je Parameter steigt auf ein Mehrfaches.

KV-Cache: Speicher je Token und Anfrage

Damit ein Modell nicht für jedes neue Token den ganzen Kontext neu verrechnet, hält es für jedes bisherige Token Schlüssel und Werte jeder Schicht im Speicher. Daraus folgt die Formel des KV-Caches; die Zwei am Anfang steht für Schlüssel und Wert.

KV-Cache in Byte = 2 × Schichten × KV-Köpfe × Kopfdimension × Byte je Wert × Kontextlänge × gleichzeitige Anfragen

Schichtenzahl, Zahl der KV-Köpfe und Kopfdimension stehen in der Konfigurationsdatei des Modells. Viele neuere Modelle teilen einen KV-Kopf zwischen mehreren Aufmerksamkeitsköpfen; dann zählt die kleinere Zahl der KV-Köpfe, nicht die Zahl der Aufmerksamkeitsköpfe. Ältere Architekturen ohne diese Gruppierung führen so viele KV-Köpfe wie Aufmerksamkeitsköpfe, und ihr KV-Cache ist bei gleicher Größe ein Mehrfaches. Für Modelle, die Schlüssel und Werte verdichtet speichern oder nur ein Fenster des Kontexts im Blick behalten, ist das Ergebnis eine obere Grenze.

Mit den Werten aus Beispiel A unten ergibt die Formel 131.072 Byte je Token, rund 0,13 MB. Ein einzelner Kontext mit 8.192 Token belegt damit 1,07 GB, und jede weitere gleichzeitige Anfrage mit derselben Länge belegt noch einmal so viel.

Die Kontextlänge geht linear ein, die Zahl der gleichzeitigen Anfragen ebenfalls. Wer die zugelassene Kontextlänge halbiert, halbiert den KV-Cache; wer ihn in FP8 statt BF16 hält, auch.

Was die Formel nicht weiß

Manche Laufzeitumgebungen reservieren beim Start einen festen Anteil des Grafikspeichers und verteilen ihn als KV-Cache. Dann zeigt die Auslastung der Karte diesen Anteil, nicht den rechnerischen Bedarf.

Zwei Rechenwege

Auf Gewichte und KV-Cache kommt der Zuschlag für Laufzeitumgebung, Aktivierungen und Verschnitt. Wir rechnen mit 10 bis 20 %; das ist ein Faustwert, kein Messwert, und die tatsächliche Größe hängt an Software, Stapelgröße und Kontextlänge. Bei kleinen Modellen fällt der feste Anteil der Laufzeitumgebung stärker ins Gewicht; dort rechnen Sie besser mit der oberen Grenze.

Bedarf = (Gewichte + KV-Cache) × 1,1 bis 1,2

Beide Beispiele nehmen eine Architektur an, wie sie bei Modellen dieser Größe verbreitet ist; für ein bestimmtes Modell setzen Sie dessen Werte ein.

Beispiel A: 8 Milliarden Parameter in BF16
Gewichte: 8 Milliarden × 2 Byte
16,0 GB
KV je Token: 2 × 32 Schichten × 8 KV-Köpfe × 128 × 2 Byte
131.072 Byte
KV-Cache: 8.192 Token × 16 gleichzeitige Anfragen
17,18 GB
Gewichte und KV-Cache
33,18 GB
Bedarf mit Zuschlag
36,5 bis 39,8 GB

Der KV-Cache ist hier größer als die Gewichte. Mit 4 gleichzeitigen Anfragen statt 16 sinkt er auf 4,29 GB. Kommen Gewichte in FP8 hinzu, liegt der Bedarf bei 13,5 bis 14,8 GB, und dasselbe Modell passt auf eine Karte mit 24 GB.

Beispiel B: 70 Milliarden Parameter in FP8
Gewichte: 70 Milliarden × 1 Byte
70,0 GB
KV je Token: 2 × 80 Schichten × 8 KV-Köpfe × 128 × 2 Byte
327.680 Byte
KV-Cache: 8.192 Token × 8 gleichzeitige Anfragen
21,47 GB
Gewichte und KV-Cache
91,47 GB
Bedarf mit Zuschlag
100,6 bis 109,8 GB

Das passt in keine Konfiguration mit einer einzelnen Karte, deren größte 96 GB führt; in BF16 wären es allein für die Gewichte 140 GB. Mit Gewichten in vier Bit sinkt Beispiel B dagegen auf 56,47 GB vor Zuschlag.

Setzen Sie die Last ein, die Sie erwarten, nicht die kleinste denkbare: Laufzeitumgebungen begrenzen Kontextlänge und Zahl der gleichzeitigen Anfragen über Einstellungen, und genau diese beiden Werte gehören in die Formel. Reicht der Grafikspeicher nicht, gibt es vier Hebel.

  • Weniger gleichzeitige Anfragen verkleinern den KV-Cache und senken den Durchsatz.
  • Kürzere zugelassene Kontexte verkleinern den KV-Cache und schließen lange Eingaben aus.
  • Ein KV-Cache in FP8 statt BF16 belegt die Hälfte.
  • Ein kleinerer Datentyp für die Gewichte spart viel, solange die Gewichte der größte Posten sind, kann aber die Antwortqualität ändern.

Was davon für Ihre Anwendung tragbar ist, zeigt ein Lasttest mit echten Anfragen.

Welche Konfiguration passt

Die Tabelle legt die Spanne beider Beispiele neben den Grafikspeicher jeder Konfiguration. „Reicht“ heißt, dass auch die obere Grenze passt, „Knapp“, dass nur die untere passt; bei knappen Fällen entscheidet ein Lasttest.

Für Beispiel A ist NG-L40S mit 48 GB die kleinste Konfiguration, die reicht. Beispiel B braucht in FP8 NG-H100×2 mit 160 GB Grafikspeicher; mit Gewichten in vier Bit passt es dagegen auf eine einzelne Karte.

Grafikkarten-Konfigurationen gegen die beiden Rechenwege
KonfigurationKartenGrafikspeicher gesamtBeispiel ABeispiel BMonatspreis netto
NG-RTX40001 × NVIDIA RTX PRO 4000 Blackwell SFF, je 24 GB24 GBReicht nichtReicht nicht214,00 €248,24 $
NG-L41 × NVIDIA L4, je 24 GB24 GBReicht nichtReicht nicht540,00 €626,40 $
NG-L40S1 × NVIDIA L40S, je 48 GB48 GBReichtReicht nicht1.008,00 €1.169,28 $
NG-H1001 × NVIDIA H100 SXM, je 80 GB80 GBReichtReicht nicht1.940,00 €2.250,40 $
NG-RTX60001 × NVIDIA RTX PRO 6000 Blackwell Max-Q, je 96 GB96 GBReichtReicht nicht1.199,00 €1.390,84 $
NG-H100×22 × NVIDIA H100 SXM, je 80 GB160 GBReichtReicht3.880,00 €4.500,80 $
NG-H100×44 × NVIDIA H100 SXM, je 80 GB320 GBReichtReicht7.770,00 €9.013,20 $
NG-H200×88 × NVIDIA H200 SXM, je 141 GB1.128 GBReichtReicht30.660,00 €35.565,60 $

Die Monatspreise sind Katalogpreise netto für Frankfurt am Main. Die RTX PRO 6000 steht im Katalog in mehreren Ausbaustufen, die sich in Arbeitsspeicher und Laufwerken unterscheiden, nicht in der Karte; die Tabelle nennt die günstigste. Jede Karte gehört ganz Ihrem Knoten, ohne vGPU-Sharing, der volle Grafikspeicher steht also zur Verfügung.

Konfigurationen mit mehreren Karten führt der Katalog in der H100- und H200-Klasse, mit NVLink zwischen den Karten und bis zu 8 Karten je Knoten. Ein Modell wird dann über die Karten verteilt: Jede Karte hält ihren Teil der Gewichte und des KV-Caches, und jede braucht ihren eigenen Zuschlag. Die Summe des Grafikspeichers ist deshalb eine Obergrenze, keine Zusage.

Ob ein Modell passt, entscheidet die Größe des Grafikspeichers; wie schnell es antwortet, hängt beim Erzeugen der Antwort vor allem an der Speicherbandbreite, und der Katalog weist dafür die Speicherart je Karte aus.

Für einen solchen Lasttest genügen wenige Stunden. Abgerechnet wird wie bei allen stundenweise berechneten Linien: sekundengenau erfasst, je Stunde berechnet, monatlich gedeckelt; ohne Laufzeit zahlen Sie die genutzte Zeit. Eine laufende Karte läuft, bis Sie sie beenden; unterbrechbare Instanzen zum Spotpreis gibt es nicht. Welche Karten sofort starten und welche nach Kapazität über eine Anfrage kommen, steht bei den Modellen auf der Seite zu den GPU-Instanzen.

Der Finder auf derselben Seite nennt die kleinste Karte für die Gewichte Ihres Modells und rechnet den KV-Cache dabei als pauschalen Aufschlag; lange Kontexte und viele gleichzeitige Anfragen rechnen Sie mit der Formel oben dazu. Wer eines der fertigen Modelle der KI-Plattform nur aufrufen will, braucht keine eigene Karte: Die KI-Plattform rechnet je Million Token ab, ohne Grundgebühr.

Erschienen am 8. November 2026. Preise und Produktwerte in diesem Beitrag kommen aus der Preisliste und zeigen ihren aktuellen Stand.

Weiterführend

Weiterlesen

  • Ein Leistungsmessgerät mit zwei Stromzangen auf hellem Grund; eine Zange umschließt ein dickes schwarzes Stromkabel, das quer durch das Bild läuft.

    Was der PUE-Wert misst – und was er nicht sagt

    TechnikLesezeit 6 Min.

    Der PUE-Wert setzt den Energiebedarf eines Rechenzentrums ins Verhältnis zu dem, was die IT davon tatsächlich aufnimmt. Er beantwortet damit eine enge Frage genau – und viele naheliegende Fragen gar nicht.

    Fachbereich Betrieb

  • Drei hellgraue Server in drei Größen nebeneinander auf hellem Grund: ein kleines Gehäuse, ein flacher Server mit einer Höheneinheit und ein Server mit zwei Höheneinheiten und zwölf Laufwerksschächten.

    VPS, Cloud-Instanz oder Dedicated Server: eine Entscheidungshilfe

    PraxisLesezeit 6 Min.

    Die drei Bauformen unterscheiden sich darin, wem der Prozessorkern gehört, wie abgerechnet wird und wie schnell ein System steht. Dieser Beitrag ordnet sie nach den Fragen, die vor einer Bestellung zählen.

    Fachbereich Plattform

Fragen an den Fachbereich

Technische Fragen zu einem Beitrag beantwortet, wer den Bereich verantwortet — im Gespräch, nicht in einer Präsentation. Für Angebote und Rahmenverträge führt der Vertrieb das erste Gespräch.