Die Tabelle legt die Spanne beider Beispiele neben den Grafikspeicher jeder Konfiguration. „Reicht“ heißt, dass auch die obere Grenze passt, „Knapp“, dass nur die untere passt; bei knappen Fällen entscheidet ein Lasttest.
Für Beispiel A ist NG-L40S mit 48 GB die kleinste Konfiguration, die reicht. Beispiel B braucht in FP8 NG-H100×2 mit 160 GB Grafikspeicher; mit Gewichten in vier Bit passt es dagegen auf eine einzelne Karte.
Grafikkarten-Konfigurationen gegen die beiden Rechenwege| Konfiguration | Karten | Grafikspeicher gesamt | Beispiel A | Beispiel B | Monatspreis netto |
|---|
| NG-RTX4000 | 1 × NVIDIA RTX PRO 4000 Blackwell SFF, je 24 GB | 24 GB | Reicht nicht | Reicht nicht | 214,00 €248,24 $ |
|---|
| NG-L4 | 1 × NVIDIA L4, je 24 GB | 24 GB | Reicht nicht | Reicht nicht | 540,00 €626,40 $ |
|---|
| NG-L40S | 1 × NVIDIA L40S, je 48 GB | 48 GB | Reicht | Reicht nicht | 1.008,00 €1.169,28 $ |
|---|
| NG-H100 | 1 × NVIDIA H100 SXM, je 80 GB | 80 GB | Reicht | Reicht nicht | 1.940,00 €2.250,40 $ |
|---|
| NG-RTX6000 | 1 × NVIDIA RTX PRO 6000 Blackwell Max-Q, je 96 GB | 96 GB | Reicht | Reicht nicht | 1.199,00 €1.390,84 $ |
|---|
| NG-H100×2 | 2 × NVIDIA H100 SXM, je 80 GB | 160 GB | Reicht | Reicht | 3.880,00 €4.500,80 $ |
|---|
| NG-H100×4 | 4 × NVIDIA H100 SXM, je 80 GB | 320 GB | Reicht | Reicht | 7.770,00 €9.013,20 $ |
|---|
| NG-H200×8 | 8 × NVIDIA H200 SXM, je 141 GB | 1.128 GB | Reicht | Reicht | 30.660,00 €35.565,60 $ |
|---|
Die Monatspreise sind Katalogpreise netto für Frankfurt am Main. Die RTX PRO 6000 steht im Katalog in mehreren Ausbaustufen, die sich in Arbeitsspeicher und Laufwerken unterscheiden, nicht in der Karte; die Tabelle nennt die günstigste. Jede Karte gehört ganz Ihrem Knoten, ohne vGPU-Sharing, der volle Grafikspeicher steht also zur Verfügung.
Konfigurationen mit mehreren Karten führt der Katalog in der H100- und H200-Klasse, mit NVLink zwischen den Karten und bis zu 8 Karten je Knoten. Ein Modell wird dann über die Karten verteilt: Jede Karte hält ihren Teil der Gewichte und des KV-Caches, und jede braucht ihren eigenen Zuschlag. Die Summe des Grafikspeichers ist deshalb eine Obergrenze, keine Zusage.
Ob ein Modell passt, entscheidet die Größe des Grafikspeichers; wie schnell es antwortet, hängt beim Erzeugen der Antwort vor allem an der Speicherbandbreite, und der Katalog weist dafür die Speicherart je Karte aus.
Für einen solchen Lasttest genügen wenige Stunden. Abgerechnet wird wie bei allen stundenweise berechneten Linien: sekundengenau erfasst, je Stunde berechnet, monatlich gedeckelt; ohne Laufzeit zahlen Sie die genutzte Zeit. Eine laufende Karte läuft, bis Sie sie beenden; unterbrechbare Instanzen zum Spotpreis gibt es nicht. Welche Karten sofort starten und welche nach Kapazität über eine Anfrage kommen, steht bei den Modellen auf der Seite zu den GPU-Instanzen.
Der Finder auf derselben Seite nennt die kleinste Karte für die Gewichte Ihres Modells und rechnet den KV-Cache dabei als pauschalen Aufschlag; lange Kontexte und viele gleichzeitige Anfragen rechnen Sie mit der Formel oben dazu. Wer eines der fertigen Modelle der KI-Plattform nur aufrufen will, braucht keine eigene Karte: Die KI-Plattform rechnet je Million Token ab, ohne Grundgebühr.