Acht RTX 3090, sieben Slots und sehr viele Kabel: So haben wir unser lokales LLM-Rig gebaut
192 Gigabyte Grafikspeicher, verteilt auf acht Consumer-GPUs: Auf dem Papier klingt das zunächst nach einer recht einfachen Beschaffungsaufgabe. Man kauft acht gebrauchte RTX 3090, steckt sie in einen Server und beginnt mit der Inferenz. Spätestens beim achten Karton fällt allerdings auf, dass zwischen „acht GPUs besitzen” und „acht GPUs stabil in einem Rechner betreiben” ein beträchtlicher konstruktiver Unterschied liegt.
Unser Rig ist über mehrere Monate gewachsen. Es besteht heute aus sieben RTX 3090, einer RTX 3090 Ti, einem AMD EPYC 7443P und einem Supermicro H12SSL-i. Zusammen bringen die Karten 192 GB VRAM mit. Das reicht für große quantisierte Sprachmodelle, lange Kontexte und auch dafür, zwei Modelle auf getrennten Vierergruppen gleichzeitig zu betreiben.
Der Weg dorthin führte über eine PCIe-Bifurkationskarte, acht vollwertige PCIe-4.0-Riser, vier Netzteile, mehrere Breakout-Boards und einen selbst gebauten Holzrahmen. Das Ergebnis sieht nicht aus wie ein Server aus einem Hochglanzprospekt. Es sieht aus wie genau das, was es ist: ein leistungsfähiger Versuchsaufbau, an dem nahezu jedes Kabel eine Geschichte erzählen könnte.
Warum ausgerechnet gebrauchte RTX 3090?
Für lokale LLM-Inferenz ist die RTX 3090 weiterhin eine ungewöhnlich attraktive Karte. Ihre 24 GB VRAM sind groß genug, um Modelle sinnvoll über mehrere GPUs zu verteilen. Gleichzeitig ist die Speicherbandbreite hoch, und die Karten sind auf dem Gebrauchtmarkt überhaupt in Stückzahlen verfügbar. Bei einem Rig dieser Größe zählt nicht nur die Rechenleistung einer einzelnen GPU. Entscheidend ist, wie viel nutzbarer Grafikspeicher und Speicherbandbreite sich für ein gegebenes Budget zusammenstellen lassen.
Die Alternative wäre Datacenter-Hardware mit deutlich angenehmeren Eigenschaften: mehr Speicher pro Karte, professionelle Kühlkonzepte, für Multi-GPU-Betrieb vorgesehene Plattformen und weniger Improvisation bei Strom und Mechanik. Dafür liegen die Anschaffungskosten in einer anderen Größenordnung. Unser Ziel war kein universeller Ersatz für einen H100- oder H200-Server (Kaufpreis einer H200: ungefähr 32.000 Euro pro GPU). Wir wollten möglichst viel lokalen VRAM für reale Inferenz- und Agenten-Workloads aufbauen und dabei selbst kontrollieren, welche Modelle, Quantisierungen und Runtimes wir einsetzen.
Der H200-Preis ist eine Marktaufnahme vom August 2026; je nach Anbieter, Lieferzeit und Ausführung kann der tatsächliche Kaufpreis deutlich abweichen.
Die Rechnung hat sich seit dem Kauf allerdings verändert. Im Dezember 2025 lagen gebrauchte RTX 3090 meist bei ungefähr 650 bis 700 Euro. Acht Karten ergeben bereits 5.200 bis 5.600 Euro, noch ohne einen möglichen Aufpreis für die 3090 Ti. Inzwischen sehen wir viele Angebote jenseits von 800 Euro; gleichzeitig mehren sich Preisvorstellungen oberhalb von 1.000 Euro. Acht Karten zu je 800 Euro wären mindestens 6.400 Euro, bei 1.000 Euro pro Karte wären es 8.000 Euro. Das ist kein kleiner Ausschlag mehr, sondern ein deutliches Feedback auf schnell steigende Neupreise und die Nachfrage nach 24-GB-Karten.
Die Plattform unter den GPUs
Die Basis des Systems ist bewusst keine typische Mining-Plattform. Wir benötigen breite PCIe-Verbindungen, weil große Modelle ihre Gewichte beim Laden über den Bus transportieren und Tensor-, Pipeline- oder Layer-Verteilung während der Inferenz Kommunikation zwischen den Karten erzeugt.
| Komponente | Unser Aufbau |
|---|---|
| CPU | AMD EPYC 7443P, 24 Kerne / 48 Threads |
| Mainboard | Supermicro H12SSL-i |
| Arbeitsspeicher | 256 GB DDR4 |
| GPUs | 7× RTX 3090 + 1× RTX 3090 Ti |
| Grafikspeicher | 192 GB insgesamt |
| PCIe | 5× x16 und 2× x8 auf dem Board, achte Verbindung per Bifurkation |
| NVLink | nicht vorhanden |
Der EPYC 7443P stellt 128 PCIe-Lanes bereit. Das H12SSL-i führt davon fünf physische Slots mit x16 und zwei mit x8 heraus. Damit besitzt das Board sieben geeignete Steckplätze, wir aber acht GPUs. An dieser Stelle hilft auch energisches Zählen nicht weiter.
Acht GPUs auf einem Board mit sieben Slots
Das H12SSL-i unterstützt PCIe-Bifurkation im BIOS. Dabei wird ein x16-Anschluss logisch in zwei x8-Verbindungen geteilt. Eine passende Splitterkarte führt diese beiden Verbindungen heraus, sodass aus einem physischen Mainboard-Slot zwei nutzbare GPU-Anschlüsse werden.
Wir verwenden dafür diese x16-zu-2×x8-Bifurkationslösung. Entscheidend ist, dass sowohl das Mainboard als auch die eingesetzte Karte die Aufteilung sauber unterstützen. Ein passiver Adapter kann keine zusätzlichen PCIe-Lanes erfinden. Er kann nur die vom BIOS bereitgestellte Aufteilung elektrisch korrekt zu zwei Anschlüssen führen.
Unser belegtes Slot-Mapping sieht so aus:
| GPU | PCI-Adresse | Physischer Slot | Verbindung | Karte |
|---|---|---|---|---|
| 0 | 01:00.0 |
SLOT6 | x16 | RTX 3090 |
| 1 | 41:00.0 |
SLOT2 | nativ x8 | RTX 3090 |
| 2 | 42:00.0 |
SLOT4 | nativ x8 | RTX 3090 |
| 3 | 81:00.0 |
SLOT7 | x16 | RTX 3090 |
| 4 | 82:00.0 |
SLOT1, bifurkiert | x8 | RTX 3090 Ti |
| 5 | 83:00.0 |
SLOT1, bifurkiert | x8 | RTX 3090 |
| 6 | c1:00.0 |
SLOT3 | x16 | RTX 3090 |
| 7 | c2:00.0 |
SLOT5 | x16 | RTX 3090 |
Bei der Beschreibung eines solchen Aufbaus geraten drei Angaben leicht durcheinander. Der physische Slot sagt zunächst nur, welche Bauform auf dem Mainboard vorhanden ist. Die elektrische Breite gibt an, mit wie vielen Lanes dieser Slot angeschlossen ist. Die ausgehandelte Verbindung schließlich beschreibt, mit welcher Generation und Breite GPU und Root-Port im laufenden System tatsächlich miteinander sprechen. Eine lange x16-Buchse kann also elektrisch nur x8 führen; ein für x8 vorgesehener Anschluss kann im Fehlerfall sogar mit einer deutlich geringeren Breite oder Geschwindigkeit trainieren.
Diese Unterscheidung ist für die Fehlersuche wichtiger als für den Einkauf. Zwei Slots des H12SSL-i sind laut Spezifikation nativ x8. Wenn lspci dort eine Breite von x8 meldet und das Wort downgraded ergänzt, muss das nicht bedeuten, dass vier oder acht Lanes ausgefallen sind. Werkzeuge vergleichen teilweise mit den Fähigkeiten der GPU, nicht allein mit der Verdrahtung des Slots. Ebenso kann eine Verbindung im Leerlauf wegen des PCIe-Energiesparens auf 2,5 GT/s zurückgehen und unter Last wieder auf Gen4 wechseln. Erst Messungen unter Last zeigen, ob wirklich ein Problem besteht.
Die Bifurkation fügt eine weitere Ebene hinzu. Sie verhält sich nicht wie ein PCIe-Switch, der einen einzelnen Upstream-Link dynamisch zwischen mehreren Geräten verteilt. Das BIOS teilt die 16 vorhandenen Lanes fest in zwei Achtergruppen. Beide GPUs erscheinen anschließend als eigenständige Geräte. Für das Betriebssystem ist das eine saubere Topologie; für den mechanischen Aufbau bedeutet es zwei vollwertige Riserverbindungen aus einem Mainboard-Slot.
Für Inferenz ist x8 in unserem Aufbau kein ernstes Hindernis. Wir haben bei entsprechenden Konfigurationen weniger als fünf Prozent Verlust gegenüber x16 beobachtet. Das heißt allerdings nicht, dass die PCIe-Verbindung unwichtig wäre. Die Differenz zwischen einem gesunden Gen4-x8-Link und einem fehlerhaft auf Gen1 zurückgefallenen Link ist gewaltig. Mit solchen Fehlern beschäftigen wir uns ausführlich im zweiten Teil dieser Serie.
Die Topologie ist außerdem komplexer, als die Zahl 128 vermuten lässt. Die acht Karten erscheinen im System über vier PCIe-Root-Complexes. Es gibt kein NVLink, und direkte GPU-zu-GPU-Kommunikation ist auf GeForce-Karten in dieser Konstellation keine Selbstverständlichkeit. Für unsere produktiven Runtimes vermeiden wir problematische P2P-Pfade deshalb bewusst. Für den physischen Aufbau bedeutet das vor allem: Breite Links sind hilfreich, aber eine zuverlässige Verbindung ist wichtiger als ein theoretisch perfektes Topologiediagramm.
Warum wir vollwertige PCIe-4.0-Riser verwenden
Acht RTX 3090 passen mechanisch nicht direkt nebeneinander auf das Mainboard. Die Karten belegen je nach Ausführung zweieinhalb bis mehr als drei Slots. Selbst wenn das Board sieben Anschlüsse bietet, kann man dort nicht sieben luftgekühlte 3090 unmittelbar hineinstecken und anschließend noch Luft zwischen ihnen erwarten.
Alle GPUs sitzen deshalb an externen PCIe-Riserkabeln. Dabei handelt es sich nicht um die billigen x1-USB-Riser, die aus klassischen Mining-Rigs bekannt sind. Wir führen die vollständige PCIe-Verbindung nach außen und möchten Gen4 mit x8 oder x16 zuverlässig übertragen. Bei 16 Gigatransfers pro Sekunde pro Lane wird ein Riser zum Hochfrequenzbauteil. Abschirmung, Leiterführung, Steckverbinder und mechanische Qualität sind dann keine kosmetischen Unterschiede.
Unsere Riser kosten ungefähr 45 Euro pro Stück. Dieses PCIe-4.0-x16-Riserkabel ist ein Beispiel für eine Ausführung, die bei uns funktioniert. Acht Stück liegen damit bereits bei ungefähr 360 Euro. Das ist ärgerlich teuer für etwas, das auf den ersten Blick wie ein Verlängerungskabel aussieht. Ein schlechter Riser kann jedoch den Durchsatz des ganzen Verbunds ruinieren oder eine GPU unter Last vom Bus verschwinden lassen. Gegen diesen Zeitaufwand wirken 45 Euro plötzlich weniger dramatisch.
Auch ein teures Kabel löst die mechanische Aufgabe nicht von selbst. Die Riser müssen ohne Zug und ohne seitlichen Druck in den Slots sitzen. Bei unserem ersten Aufbau liefen mehrere dicke Kabelbündel dicht aneinander vorbei. Sie drückten teilweise gegenseitig auf ihre Steckverbindungen. Später mussten wir einzelne Leitungen sorgfältig entlasten und mit kleinen Stützen in Position halten. Der elektrische Fehler sah anschließend aus wie ein Softwareproblem, entstand aber aus wenigen Millimetern mechanischer Belastung.
Der erste Rahmen: Holz, kurze Wege und zu wenig Luft
Unser Rahmen besteht aus Holz und trägt die GPUs oberhalb beziehungsweise neben dem Mainboard. Diese Konstruktion war schnell herzustellen, leicht anzupassen und stabil genug, um acht schwere Karten samt Kabeln zu halten. Sie brachte uns zügig zu einem funktionierenden System.
Um den Einstieg einfach zu halten, haben wir die acht Karten zunächst in diesem bewusst schlichten Holzgestell untergebracht — erst als CAD-Modell skizziert, dann in wenigen Stunden gebaut. Im Modell wirkt noch alles aufgeräumt; dass wir die GPUs darin etwas zu dicht geplant hatten, zeigte erst der laufende Betrieb. Dazu gleich mehr.
Das Foto zeigt ebenso deutlich ihren größten Nachteil: Die Karten stehen zu dicht beieinander. Eine RTX 3090 bewegt viel Wärme, acht davon erzeugen einen eigenen kleinen Wetterbericht. Axiallüfter funktionieren am besten, wenn sie tatsächlich Luft ansaugen können. Steht wenige Zentimeter vor einem Lüfter bereits die Rückseite der nächsten Karte, wird aus Frischluft schnell vorgewärmte Umluft.
Wir bauen deshalb bereits eine zweite Konstruktion mit größeren Abständen und besserer Kabelführung. Das ist keine rein optische Überarbeitung. Mehr Abstand reduziert die Ansaugtemperatur, entlastet die Riserstecker und schafft Platz, um Stromkabel mit größeren Radien zu führen. Im Sommer stehen aktuell mehrere zusätzliche Ventilatoren direkt vor dem Rig. Wie stark sich schlechte Kühlung auf die Inferenzgeschwindigkeit auswirkt, war eine der unangenehmeren Lektionen aus dem laufenden Betrieb.
Vier Netzteile statt eines sehr großen
Die Stromversorgung ist in zwei funktionale Bereiche geteilt. Der PCIe-Slot liefert einer Karte gemäß Spezifikation bis zu ungefähr 75 Watt. Dieser Slotstrom kommt bei allen acht GPUs über Mainboard und Riser vom 1200-W-ATX-Netzteil. Dasselbe ATX-Netzteil versorgt Mainboard, CPU und Arbeitsspeicher. Zusätzlich hängen die 6-/8-Pin-Anschlüsse einer GPU daran.
Die zusätzlichen Stromanschlüsse der sieben übrigen GPUs verteilen wir auf drei HP-Servernetzteile:
| Netzteil | Aufgabe |
|---|---|
| 1200-W-ATX | Mainboard, CPU, Slotstrom aller acht GPUs und Zusatzanschlüsse einer GPU |
| HP 1200 W | Zusatzanschlüsse von drei GPUs |
| HP 1600 W | Zusatzanschlüsse von drei GPUs |
| HP 750 W | Zusatzanschlüsse einer GPU |
Die HP-Netzteile sind Servermodule. Beim 1200-W-Modell handelt es sich um ein Netzteil für HP DL580 G7, DL380 G7 beziehungsweise D6020 mit den Teilenummern 579229-001 und 578322-B21. Ein Breakout-Board stellt die benötigten PCIe-Ausgänge bereit; von dort gehen 6+2-Pin-Kabel mit ungefähr 50 Zentimetern Länge zu den Karten.
Damit verläuft die Versorgung einer GPU auf zwei Wegen. Der passive Riser führt neben den PCIe-Signalen auch den Slotstrom vom Mainboard zur Karte. Die oben an der GPU eingesteckten PCIe-Kabel liefern den größeren zusätzlichen Anteil über das jeweils zugeordnete Netzteil. Das 1200-W-ATX-Netzteil trägt deshalb nicht nur CPU und Mainboard, sondern zugleich die Grundlast aller acht Karten. Die HP-Module entlasten es an den Zusatzanschlüssen, ersetzen jedoch nicht den Strompfad durch den Slot.
Diese Aufteilung sollte im Artikel so deutlich stehen, weil ein Foto der vielen gelb-schwarzen Kabel leicht einen anderen Eindruck vermittelt. Man könnte meinen, jede GPU hinge vollständig an genau einem Servernetzteil. Tatsächlich teilen sich Mainboard und Zusatzversorgung die Aufgabe. Aus der Anzahl der sichtbaren PCIe-Kabel lässt sich daher weder die Last des ATX-Netzteils noch der Gesamtverbrauch des Rigs ablesen.
Auf den Typenschildern addieren sich die vier Quellen zu 4.750 Watt. Das ist nicht der reale Dauerverbrauch und sollte auch nicht als solcher gelesen werden. Die Aufteilung schafft Reserven und verteilt die zusätzlichen GPU-Anschlüsse auf mehrere Versorgungszweige. Sie garantiert aber nicht, dass jede beliebige Gruppierung stabil bleibt. Ursprünglich versorgte das 1600-W-HP-Netzteil die Zusatzanschlüsse von vier GPUs. In dieser Konfiguration meldete sich sporadisch eine Karte ab. Erst die Umverteilung einer GPU auf das vorhandene 750-W-Modul beseitigte dieses Fehlerbild. Mehr dazu gehört in den Betriebsartikel, weil es ohne die zeitliche Diagnosegeschichte schnell wie eine pauschale Aussage über 1600-W-Netzteile klingen würde. Das ist es nicht.
Was der Aufbau wirklich kostet
Bei einem Multi-GPU-Rig konzentriert sich die Kostendiskussion gern auf die Grafikkarten. Sie sind der größte Einzelposten, aber bei acht Karten sammeln sich auch die scheinbar kleinen Teile:
- acht PCIe-4.0-Riser zu jeweils ungefähr 45 Euro,
- eine funktionierende Bifurkationskarte,
- zusätzliche x8-zu-x16-Adapter, sofern sie an einer Position benötigt werden,
- drei HP-Servernetzteile zusätzlich zum ATX-Netzteil,
- Breakout-Boards und zahlreiche 6+2-Pin-Kabel,
- Material für Rahmen, Halterungen und Zugentlastung,
- zusätzliche Ventilatoren und Messtechnik.
Gerade Adapter und Riser sind keine sinnvolle Stelle, um ausschließlich nach dem niedrigsten Preis zu sortieren. Wir hatten einen x8-zu-x16-Adapter, der schlicht nicht funktionierte. Solche Teile kosten nicht nur ihren Kaufpreis. Sie erzeugen Fehlersuche, bei der GPU, Treiber, Riser, Mainboard und Netzteil zunächst gleichermaßen verdächtig aussehen.
Die GPU-Preisentwicklung macht einen Nachbau heute teurer als Ende 2025. Unsere datierte Rechnung ist deshalb wichtiger als eine vermeintlich zeitlose Gesamtsumme. Wer ein ähnliches System plant, sollte außerdem einen erheblichen Posten für Verkabelung, Stromverteilung und Kühlung einplanen. Acht Karten sind kein Desktop-PC mit ungewöhnlich vielen Seitenteilen. Sie sind ein kleines Rechensystem mit entsprechendem Infrastrukturbedarf.
Wir nennen bewusst keinen nachträglich glatt gerechneten Gesamtpreis. Für einige Komponenten gelten unsere damaligen Einkaufspreise, andere Teile lagen bereits vor dem Projekt herum – etwa das 750-W-HP-Netzteil, das später eine wichtige Rolle spielte. Eine Gesamtsumme würde dadurch genauer wirken, als sie belegt wäre. Belastbar sind die datierten GPU-Preise, die ungefähr 45 Euro je Riser und die Erkenntnis, dass acht funktionierende Daten- und Strompfade einen relevanten Anteil des Budgets beanspruchen.
Was wir dafür bekommen
Das fertige Rig stellt 192 GB VRAM bereit. Wir können ein großes Modell über alle acht Karten verteilen oder die GPUs in Gruppen aufteilen. Eine typische aktuelle Belegung besteht beispielsweise aus einem Qwen-Modell auf vier Karten und Laguna S 2.1 auf den übrigen vier. In einer solchen Situation zeigt unser Dashboard 187,7 von 192 GB belegtem VRAM. Die Hardware ist also nicht als dekorative Reserve eingebaut.
Je nach Modell und Runtime erreichen wir sehr unterschiedliche Tokenraten. Diese Unterschiede hängen nicht nur von der Parameterzahl ab, sondern auch von Quantisierung, aktivem MoE-Anteil, Tensor- oder Pipeline-Parallelität, Kontextlänge und den verwendeten Kernels. Würden wir Aufbau und sämtliche Modellbenchmarks in einem einzigen Beitrag abhandeln, bliebe ausgerechnet die Hardwarekonstruktion wieder zu knapp. Detaillierte Modellmessungen gehören deshalb in eigene Beiträge; hier genügt die Feststellung, dass der Aufbau große lokale Modelle und parallele Vier-GPU-Instanzen praktisch ermöglicht.
Der wichtigere Unterschied zu einer fertigen Datacenter-Lösung liegt ohnehin im Betrieb. Acht gebrauchte Consumer-GPUs auf Riserkabeln verzeihen weder schlechte Kontakte noch ungleichmäßige Kühlung. Das Rig kann morgens mit voller Geschwindigkeit laufen und am Nachmittag deutlich langsamer werden, ohne dass eine Anwendung einen offensichtlichen Fehler meldet. Es kann einen PCIe-Link herunterhandeln, AER-Zähler füllen oder eine Karte mit der bemerkenswert lakonischen Meldung GPU has fallen off the bus verlieren.
Genau darum geht es in Teil 2 dieser Serie: „Wenn die GPU vom Bus überfahren wird” — um 450 Watt Idle-Verbrauch, Leistungsspitzen bis 3,1 Kilowatt, Sommerhitze, Power-Limits, mechanisch belastete Riser und die Frage, wie man erkennt, ob gerade das Modell, der Treiber, die Stromversorgung oder doch nur ein Kabel Ärger macht.