← Insights

EN — English version

#20 · Neue Inferenzengines machen’s möglich: Riesige Modelle lokal betreiben auf schmaler Hardware für kleine Teams – DeepSeek mit 1 Mio. Kontext auf 8×2080 Ti

· LYTH-REST-Publisher

748 Milliarden Parameter, acht ältere Grafikkarten und ein Rig für unter 6.000 Euro: DeepSeek-V4.1-Flash-1017 läuft bei uns lokal auf acht modifizierten RTX 2080 Ti mit je 22 GB. Dass daraus ein nutzbares System für ein kleines Team wird, verdanken wir wesentlich neuer Inferenzsoftware aus der Community. Sie verteilt Modellteile geschickt auf Grafikspeicher und Arbeitsspeicher, lässt die CPU mitrechnen und kann lange Sitzungen schnell parken. Platzsparende Quantisierungen halten dabei die Qualitätsabstände in unseren bisherigen Aufgaben klein.

Was die Community gerade an Inferenzsoftware baut, verändert damit die Möglichkeiten dieser Karten. Zusammen kommen sie auf 176 GiB VRAM; das Modell ist selbst quantisiert erheblich größer. Wie wir die umgebauten Karten beschafft haben, steht im Artikel zum China-Import der RTX 2080 Ti mit 22 GB. Hier geht es darum, was darauf inzwischen läuft und wie sich das Rig gemeinsam nutzen lässt.

Der Arbeitsspeicher darf mitarbeiten

Ein großes Modell außerhalb des VRAM unterzubringen, löst zunächst nur das Platzproblem. Für brauchbares Tempo muss die Software auch damit umgehen können, dass Gewichte in unterschiedlichen Speicherstufen liegen. Genau daran arbeiten Projekte wie Strata, Maya und Avalon. Das sind Inferenzengines: Software, die Modelle ausführt, keine Modellhersteller oder Quantisierungsanbieter.

Mixture-of-Experts-Modelle bestehen aus spezialisierten Teilnetzen, den Experten. Pro Token arbeitet nur ein kleiner Teil davon; ein Cache kann häufig benötigte Gewichte bereithalten. Avalon, ein llama.cpp-Fork für Qwen Flash Next, lässt die CPU an Experten im RAM parallel zur GPU rechnen und lädt Gewichte vorausschauend vor. Strata arbeitet bei Qwen ebenfalls mit CPU-Experten und Caches. Maya setzen wir für GLM und DeepSeek ein; bei DeepSeek erreichten wir damit auf unseren Turing-Karten mit Abstand das höchste Tempo.

Wie die Engines GPU, CPU und Speicher zusammenspannen, unterscheidet sich. Dadurch lassen sich auch Modelle brauchbar ausführen, deren Gewichte nicht vollständig in den Grafikspeicher passen. Die CPU übernimmt je nach Engine einen Teil der Berechnungen, während benötigte Gewichte zwischen den Speicherstufen bereitgestellt werden. Das komplette Modell muss dafür nicht bei jedem Token von der SSD gelesen werden.

27B: Schon eine Karte ist hilfreich

Wer ein 27B-Modell betreiben möchte, braucht dafür keineswegs das ganze Rig. Bei Qwen 3.8 27B schaffte eine einzelne Karte mit Turboderps EXL3-Quantisierung bei regulär 4,00 Bit pro Gewicht bereits rund 92 Ausgabetoken pro Sekunde. Daneben haben wir Unsloths NVFP4-Mix aus 4 und 8 Bit mit vLLM getestet, jeweils mit für Turing angepassten Engines. DFlash und MTP beschleunigen die Ausgabe spekulativ: Eine Vorhersage entwirft Token, die das Modell anschließend prüft.

Alle Tempoangaben meinen Ausgabetoken pro Sekunde, einschließlich Denktoken, nicht die gesamte Wartezeit bis zur fertigen Antwort. „100k“ bezeichnet das jeweilige Langprofil; bei Qwen enthielt es tatsächlich rund 81.000, bei GLM rund 85.000 Token Vorlauf. Das Kontextfenster gilt je Sitzung; der gemeinsame Kontextpool muss die gleichzeitig gehaltenen Sitzungen aufnehmen. Die Tempowerte der folgenden Tabelle stammen jeweils von einer einzelnen aktiven Anfrage.

Karten Engine / Quantisierung Token/s kurz / 100k Fenster je Sitzung Kontextpool: eingestellt / ausprobiert
1 EXL3 DFlash / Turboderp 4,00 bpw 91,64 / 68,20 131.072 131.072 eingestellt
1 EXL3 MTP / Turboderp 4,00 bpw 68,05 / 60,67 262.144 262.144 eingestellt
2 EXL3 MTP / Turboderp 4,00 bpw 84,72 / 83,75 262.144 1.179.648 eingestellt; 1.061.070 mit fünf langen Sitzungen ausprobiert
2 vLLM DFlash / Unsloth NVFP4-Mix 93,98 / 69,34 262.144 376.329 gemeldet
4 EXL3 MTP / Turboderp 4,00 bpw, zwei Netzteile 107,43 / 93,48 262.144 2.097.152 eingestellt, nicht ausgeschöpft
4 vLLM DFlash / Unsloth NVFP4-Mix, Poolprofil 85,87 / 69,56 262.144 1.373.441 gemeldet; davon 1.234.782 mit sechs langen Sitzungen ausprobiert

Eine Karte liefert also bereits flüssige Ausgabe. Zusätzliche Karten schaffen vor allem Raum für mehrere lange Sitzungen; die eingestellte Poolgröße haben wir dabei nur im beschriebenen Umfang ausprobiert.

GLM lief schon auf vier Karten

GLM 5.3 Flash bringt rund 321 Milliarden Parameter mit – und lief bei uns schon auf vier Karten. Die Maya-S24-Quantisierung von peasantsmith umfasst 94,7 GB beziehungsweise etwa 88,2 GiB Dateien. Vier Karten bieten zusammen rund 88 GiB VRAM, in dem zusätzlich Caches Platz brauchen. Maya verteilt deshalb Modellteile auf GPU und Hostspeicher und hält Expertenteile bei Bedarf in RAM beziehungsweise auf SSD vor.

GLM auf vier Karten Token/s kurz Token/s 100k
Früher Stand 55,45 45,93
Nach RAM-Ausbau und weiteren Optimierungen 65,62 53,14
Später, gleiche Hardware 67,53 Nicht erneut gemessen

Weil CPU-Offloading inzwischen so wichtig geworden war, haben wir auch den langsamen Arbeitsspeicher ausgetauscht: Statt eines einzelnen 32-GB-Riegels mit DDR4-2133 stecken nun vier 32-GB-Riegel mit DDR4-3200 im Host. Der CPU stehen damit 128 GiB schnellerer RAM über vier Speicherkanäle zur Verfügung. Zusammen mit den Softwareverbesserungen stieg das Tempo im Verlauf von rund 55 auf 67 Token/s.

Für den weiteren Ausbau bestellten wir vier zusätzliche Karten. Das Mainboard erkannte zunächst nur sechs. Schon diese Zwischenstufe bot genug Grafikspeicher für sämtliche 12.096 GLM-Experten: Die CPU musste deren Berechnungen nun nicht mehr übernehmen. In vergleichbaren Teamprofilen stieg das Einzeltempo von 63,10 auf 74,04 Token/s, also um 17,3 Prozent. Vier gleichzeitige kurze Anfragen kamen zusammen auf 162,5 statt 141,5 Token/s.

748B auf sechs Karten: Es lief, aber wir wollten mehr Tempo

DeepSeek-V4.1-Flash-1017 brachte auf sechs Karten zunächst 22,98 Ausgabetoken pro Sekunde. Damit ließ sich arbeiten, für das geplante Team-Rig war uns das aber zu langsam. Nach Anpassungen an der parallelen Verteilung und der spekulativen Beschleunigung erreichten wir mit Maya zuletzt 53,0 Token/s bei kurzem Kontext und 48,2 im 100k-Profil. Dafür war ein aktiver Platz mit einem Kontextfenster von 262.144 Token eingerichtet.

Die Größenordnung bleibt ungewöhnlich für diese Hardware: DeepSeek besteht aus einem Backbone mit 552 Milliarden Parametern und einem Engram-Anteil mit weiteren 196 Milliarden, zusammen also 748B. Als MoE-Modell aktiviert es für jedes Token nur einen kleinen Teil seiner Experten. Trotzdem müssen die übrigen Gewichte irgendwo liegen und bei Bedarf erreichbar sein.

Wir verwenden die Maya-S-Quantisierung von peasantsmith. Der Backbone, also der Rechenteil des Modells, benötigt darin im Mittel etwa 2,6 Bit pro Gewicht. Die Genauigkeit ist gemischt; einzelne Komponenten wie Attention bleiben bei 8 Bit. Die Engram-Nachschlagetabelle liegt im Format Q6_K vor. Insgesamt sind das 339,5 GB Dateien: 178,2 GB Backbone und 161,3 GB Engram.

Engram liegt auf SSD, doch pro Token werden nur wenige Tabellenzeilen benötigt. Ein RAM-Cache hält häufig benötigte Daten bereit, sodass die SSD nicht laufend Hunderte Gigabyte durchreichen muss. Zugleich liegen auf sechs Karten noch viele Experten im Arbeitsspeicher. Unser Host mit 128 GiB DDR4-3200 gehört damit zum rechnenden System; er ist mehr als eine Ladehilfe für die GPUs.

Die kompakten Gewichte machen das Modell unterbringbar. Maya sorgt dafür, dass die Verteilung über GPU, RAM und SSD auch brauchbares Tempo liefert. Ob die starke Kompression für unsere Aufgaben zu viel Qualität kostet, war die nächste Frage.

Wie viel Qualität bleibt lokal übrig?

In unserem eigenen Benchmark bedeuten höhere Scores bessere Ergebnisse; Aufgaben und Berechnung stellen wir im nächsten Artikel vor. Das lokale GLM erreichte 74 %, die über einen Provider angebotene FP8-Fassung 75 %. DeepSeek V4.1 Flash (1017) als Maya-S-Quant erreichte in der neuen Messung 78 %. Die großen lokalen Modelle lagen damit in unserem bisherigen Aufgabenmix nahe an den hier verglichenen Provider-Angeboten, wie sie zum Beispiel über OpenRouter verfügbar sind.

Modell / Ausführung Score im Hausbenchmark (in %)
GPT 6.1 Sol 90 %
DeepSeek V4.1 Flash (1017), Maya-S 78 %
Qwen 3.8 Flash Next, eigener Server, AWQ 77 %
Claude Haiku 5.5 76 %
Qwen 3.8 Flash, OpenRouter 76 %
GLM 5.3 Flash, OpenRouter, FP8 75 %
GLM 5.3 Flash, lokal, Maya-S24 74 %
Qwen 3.8 Flash Next, IQ3 73 %
Qwen 3.8 27B, maximal 5.000 Denktoken 73 %
Ornith 1.5 35B A3B 59 %
Qwen 3.6 27B, Q4 51 %
Qwen 3.6 35B A3B, OpenRouter, FP8 47 %

Beim Qwen Flash Next lag unsere AWQ-Fassung mit 77 % vor dem IQ3-Stand mit 73 %; bei GLM fiel der Abstand zwischen lokalem Modell und Provider-FP8 kleiner aus. Diese Nähe auf unseren Aufgaben bedeutet keine universell gleiche Qualität. Die grobe Reihenfolge passt zu unserem Bild aus Artificial Analysis – das ist unsere Einordnung, keine Gleichsetzung der Punkteskalen. Für unsere Aufgaben zeigt uns der Vergleich aber deutlich, ob eine Quantisierung zu viel Qualität kostet.

Für alle acht Karten musste die Onboard-Grafik weichen

Zwei der acht Karten wollte das Mainboard zunächst nicht ansprechen. Die zusätzlichen GPUs waren eingebaut, standen für die Inferenz aber noch nicht zur Verfügung. Erst nachdem wir die Onboard-Grafik des Supermicro H12SSL-i abgeschaltet hatten, wurden alle acht erkannt.

Seitdem gibt es am Rig kein lokales Bild mehr; wir bedienen es remote. Dafür stehen Maya nun alle acht RTX 2080 Ti mit zusammen 176 GiB VRAM zur Verfügung. DeepSeek läuft darauf mit sämtlichen Karten als einer gemeinsamen Rechengruppe, technisch TP8.

Damit konnten wir über den Einzelplatz hinausgehen: Wie viele Anfragen lassen sich gleichzeitig bedienen, und wie viel Kontext soll jede Sitzung bekommen? Bei Maya beeinflusst diese Entscheidung bereits die Speicherbelegung beim Start.

Acht Karten: schnell allein, teilbar im Team

Mit allen acht Karten erreichte DeepSeek bei einem einzelnen aktiven Platz und 262.144 Token Kontextfenster 87,3 Ausgabetoken pro Sekunde bei kurzem Kontext und 80,1 im 100k-Profil. Gegenüber den zuletzt 53,0 beziehungsweise 48,2 Token/s auf sechs Karten ist das ein deutlicher Schritt. Für die gemeinsame Nutzung interessierte uns aber vor allem, was bei mehreren gleichzeitigen Anfragen übrig bleibt.

Die folgende Tabelle zeigt den Profilvergleich vom 18. November. „Plätze“ sind gleichzeitig nutzbare Sitzungen, keine zusätzlichen Modellkopien. Die Teamwerte sind jeweils die gemeinsame Ausgabe aller laufenden Anfragen.

Eingerichtete Plätze Kontextfenster je Platz Einzelne kurze Anfrage, Token/s 4 aktive Anfragen mit je 100k, Token/s gesamt 8 aktive Anfragen mit je 100k, Token/s gesamt
8 131.072 80,7 113,3 144,5
4 524.288 76,6 107,2 –
8 524.288 75,1 – 127,2
4 1.048.576 76,3 Offen – (höchstens vier gleichzeitig)

Ein Strich steht für keinen Messwert in diesem Profil; „offen“ markiert die noch ausstehenden Teamtests mit dem aktuellen Millionen-Token-Profil. Mit vier eingerichteten Plätzen können höchstens vier Anfragen gleichzeitig laufen.

Beim 512k-Fenster je Platz ergeben die 107,2 Token/s mit vier eingerichteten und aktiven Plätzen rechnerisch 26,8 Token/s pro Sitzung. Mit acht eingerichteten und aktiven Plätzen sind es 127,2 geteilt durch acht, also 15,9. Das sind durchschnittliche Anteile am Gesamttempo, keine garantierten persönlichen Ausgaberaten.

Unser aktuelles Produktionsprofil bietet vier Plätze mit jeweils 1.048.576 Token Kontextfenster. Beim späteren Produktivcheck am 19. November kamen wir darin auf 71,5 Token/s kurz und 75,9 bei 100k. Ob vier Sitzungen gleichzeitig mit sehr langen Kontexten gut arbeiten, müssen wir noch ausprobieren. Auch die 512k-Fenster der Tabelle waren im Teamtest jeweils nur mit 100k belegt. Acht Plätze mit je einer Million Token scheiterten bereits beim Laden am vollen Arbeitsspeicher.

Ein großes Kontextfenster kostet schon vor dem ersten langen Prompt

Wer acht Plätze mit viel Kontext einrichtet, belegt bei Maya bereits beim Start entsprechend Speicher. Die DeepSeek-Ausführung reserviert für jeden eingerichteten aktiven Platz das vollständige Kontextfenster. Ein kurzer Prompt macht diese Reserve nicht automatisch wieder frei. Das unterscheidet sie vom dynamisch gemeinsam genutzten KV-Pool bei vLLM.

Diese Reserve konkurriert mit den Modellgewichten um VRAM. Bei vier Plätzen mit je 512k lag sie bei ungefähr 13 GB; rund 53,4 GB Expertengewichte lagen im RAM. Acht solcher Plätze beanspruchten etwa 31 GB KV-Reserve und verschoben die Expertengewichte im RAM auf 69,5 GB. Vier Plätze mit je einer Million Token lagen mit rund 31 GB Reserve und 69,1 GB Expertengewichten im RAM ähnlich.

Für ein Team lohnt es sich deshalb, gleichzeitig benötigte Plätze und gewünschte Kontextlänge bewusst zu wählen. Acht eingerichtete Plätze kosten auch dann Speicher, wenn gerade nur eine Person fragt. Vier Plätze können ausreichen, wenn die Beteiligten überwiegend abwechselnd arbeiten und ihre bisherigen Sitzungen trotzdem behalten können.

Der Gamechanger: Lange Sitzungen parken, statt sie wieder einzulesen

Wenn alle aktiven Plätze belegt sind, muss für eine weitere Sitzung ein Platz frei werden. Den bisherigen Kontext später erneut zu berechnen, kann dauern: Bei unserem Versuch mit 450k Kontext vergingen 588 Sekunden bis zur Antwort, also fast zehn Minuten. Das ist keine isolierte Messung des Einlesens.

Mayas Funktion zum Aufbewahren von Sitzungen, eingeschaltet über MAYA_DS4_SLOT_KEEP=1, erspart dieses erneute Berechnen des bisherigen Kontexts. Braucht eine andere Anfrage einen belegten Platz, kann die Engine die bisherige Sitzung an einer Anfragegrenze parken und den Platz neu vergeben. Eine laufende Antwort wird dafür nicht unterbrochen. Fragt die geparkte Sitzung später wieder an, holt Maya ihren gespeicherten Kontextzustand zurück.

Bei einer Sitzung mit rund 355k Token dauerte das Sichern im RAM 0,2 Sekunden, das Zurückholen 0,3 Sekunden. Anschließend mussten 733 neue Token verarbeitet werden; das dauerte weitere 3,3 Sekunden. Die Rückkehr zum bisherigen Stand und das Einlesen neuer Eingaben sind also getrennte Arbeitsschritte. Die 0,3 Sekunden sind keine Zusage für die gesamte nächste Antwort.

Wenn das vorgesehene RAM-Budget nicht reicht, können Sitzungen auch auf SSD geparkt werden. Das ist ein anderer Vorgang als das Auslagern von Modellgewichten: Hier wird der bereits berechnete Kontext einer Sitzung aufgehoben. Damit können mehr Mitarbeiter oder Agenten abwechselnd arbeiten, als gleichzeitig aktive Plätze eingerichtet sind. Vier Plätze bleiben allerdings vier gleichzeitig bedienbare Plätze.

Das Wiederverwenden klappt nur, wenn der bisherige Kontext wiedererkannt wird. Verändert der Client dessen Anfang, etwa den Systemprompt, kann das teure Neueinlesen wieder nötig werden.

Ein 700B-Modell wird für kleine Teams erreichbar

Ein Modell mit 748 Milliarden Parametern auf unserem Rig für unter 6.000 Euro wird auch für kleine Teams interessant, die abwechselnd damit arbeiten. Spezialisierte Engines verteilen Gewichte und Rechenarbeit über GPU und Host; das Parken hält lange Sitzungen für die nächste Anfrage bereit. Das erste Einlesen kann weiterhin Minuten dauern. Vier vollständig gefüllte Millionen-Token-Fenster im gemeinsamen Betrieb müssen wir noch ausprobieren, acht solche Plätze passen hier nicht in den RAM. Den Hausbenchmark stellen wir im nächsten Artikel genauer vor.

Kommentar schreiben

Deine E-Mail-Adresse wird nicht veröffentlicht. Der erste Kommentar wird manuell freigegeben.