Lokale KI bedeutet: Das Sprachmodell läuft auf Hardware, die Ihrem Unternehmen gehört oder exklusiv für Sie betrieben wird. Anfragen, Dokumente und Antworten bleiben im eigenen Netz. Kein API-Aufruf nach Kalifornien, kein Zwischenspeicher in einer Infrastruktur, über die Sie im Ernstfall keine Auskunft geben können. Technisch steckt dahinter ein lokales LLM mit offenen Gewichten, ein Inferenz-Server und, je nach Anwendungsfall, eine Anbindung an Ihre eigenen Dokumente.
Bis vor kurzem war das eine akademische Option. Die frei verfügbaren Modelle lagen weit hinter den großen Cloud-Diensten, und die passende Hardware kostete so viel, dass sich die Frage von selbst erledigte. Seitdem hat sich beides bewegt: Offene Modelle sind von Generation zu Generation brauchbarer geworden, und Grafikkarten mit genügend Speicher gibt es gebraucht zu Preisen, die ein Pilotprojekt tragen. Wir messen diese Entwicklung selbst nach.
Gleichzeitig ist die Datenschutzfrage konkreter geworden. Wer Mandantenakten, Patientendaten, Gehaltslisten oder unveröffentlichte Konstruktionsdaten verarbeitet, kann sie nicht in ein Chatfenster kopieren, dessen Verarbeitungskette im Zweifel nicht prüfbar ist. On-Premise-KI und souveräne KI sind deshalb keine Ideologie, sondern die praktische Antwort auf eine Freigabefrage, die in vielen Häusern längst gestellt wurde.
Wann lokale KI die richtige Wahl ist
Nicht jedes Unternehmen braucht eigene Hardware. Es gibt aber wiederkehrende Konstellationen, in denen KI ohne Cloud die einzige Variante ist, die eine interne Freigabe übersteht:
- Daten, die das Haus nicht verlassen dürfen. Personalakten, Verträge in Verhandlung, Prüfberichte, Forschungsdaten. Wenn die Antwort auf „Wo liegt das während der Verarbeitung?“ Teil der Freigabe ist, wird der Speicherort zum Auswahlkriterium.
- Berufsgeheimnis. § 203 StGB stellt die Offenbarung fremder Geheimnisse unter Strafe und knüpft die Mitwirkung Dritter an Bedingungen. Für Kanzleien, Praxen und Steuerberatungen verschiebt das die Diskussion von „Welches Tool ist am besten?“ zu „Wer bekommt die Daten überhaupt zu sehen?“. Lokale Verarbeitung reduziert den Kreis der Beteiligten. Rechtsberatung ist das ausdrücklich nicht; die Prüfung gehört zu Ihrem Berufsrecht und Ihrem Datenschutzbeauftragten.
- Konzernrichtlinien, die Cloud-KI ausschließen. In vielen Häusern ist die Nutzung externer KI-Dienste per Richtlinie untersagt oder auf einen kleinen Positivkatalog beschränkt. Eine eigene Installation umgeht diese Regel nicht, sie erfüllt sie.
- Kostenkontrolle bei Dauerlast. Token-Abrechnung ist günstig, solange die Nutzung sporadisch bleibt. Läuft dagegen jeden Tag dieselbe Verarbeitung über tausende Dokumente, wächst die Rechnung mit dem Erfolg des Projekts. Eigene Hardware kostet einmalig plus Strom und Betreuung, unabhängig davon, wie viele Anfragen darüber laufen.
- Stabile Grundlage. Ein lokal abgelegtes Modell ändert sein Verhalten nicht, weil ein Anbieter still auf eine neue Version umgestellt hat. Wer Ergebnisse dokumentieren oder reproduzieren muss, weiß diesen Punkt zu schätzen.
Umgekehrt raten wir ab, wenn ein paar Kolleginnen gelegentlich Texte umformulieren wollen. Dafür lohnt sich keine GPU. Und bei den schwersten Aufgaben – langes, verschachteltes Schlussfolgern über sehr große Kontexte – liegen die größten Cloud-Modelle weiterhin vorn.
Was wir liefern
Potenzialanalyse
Zuerst klären wir, welche Aufgaben in Ihrem Haus überhaupt ein Sprachmodell brauchen und welche davon lokal sinnvoll laufen. Daraus ergeben sich die technischen Anforderungen: Kontextlänge, Antwortzeit, Zahl gleichzeitiger Nutzer, Anbindung an vorhandene Dokumentenablagen. Ohne diesen Schritt kauft man Hardware für ein Gefühl.
Hardware-Dimensionierung
Der Videospeicher entscheidet, welches Modell überhaupt läuft; alles Weitere folgt daraus. Wir dimensionieren vom Anwendungsfall her und sagen auch, wann gebrauchte Komponenten reichen. Wie weit man damit kommt, haben wir an einem eigenen Aufbau durchgerechnet und veröffentlicht.
Modellauswahl mit eigenen Messungen
Öffentliche Benchmarks beantworten selten die Frage, die Sie haben. Wir testen Kandidaten auf der vorgesehenen Hardware und, wo möglich, an Ihren eigenen Aufgaben: Qualität, Durchsatz, Speicherbedarf, Verhalten bei langem Kontext. Ergebnis ist eine Empfehlung mit nachvollziehbarer Begründung, nicht der Modellname, der gerade durch die Feeds läuft.
Betrieb und Wartung
Nach der Installation beginnt der Teil, der dauerhaft Zeit kostet: Updates, Zugriffsrechte, Monitoring, Wiederanlauf nach Ausfällen, Nachmessen bei neuen Modellversionen. Auf Wunsch übernehmen wir das oder übergeben es dokumentiert an Ihre IT.
Messwerte statt Versprechen
Was lokale KI leistet, lässt sich messen. Deshalb veröffentlichen wir unsere Aufbauten samt Hardware, Modellen und Durchsatzwerten:
- LLM-Rig aus eBay-Teilen – ein Testsystem aus gebrauchten Komponenten: zwei RTX 3060 mit zusammen 24 GB VRAM, Board und CPU für 120 Euro. Darauf lief ein MoE-Modell mit 35 Milliarden Parametern bei 77 tok/s. Der datierte Nachtrag im selben Artikel zeigt, was dieselbe Hardware inzwischen trägt: Nemotron-Cascade-2-30B mit 31,6 Milliarden Parametern und bis zu 400.000 Token Kontext, 91,55 tok/s bei kurzem Prompt und noch 18,91 tok/s bei 350.000 Token.
- Denken ohne Experten – das dichte Qwen 3.8 27B auf einer einzelnen RTX 3090 mit 24 GB: 57,31 tok/s bei kurzem Prompt, 58,64 tok/s bei rund 81.000 Token Kontext, Kontextfenster 131.072 Token. Der lange Kontext kostete in dieser Messung also keinen Durchsatz.
- KI-Glossar – 15 Themenbereiche von den Grundbegriffen über Quantisierung, KV-Cache und Mixture-of-Experts bis zum spekulativen Decoding, zweisprachig auf Deutsch und Englisch.
Diese Werte gelten für die genannte Hardware, die genannten Modelle und die dort beschriebenen Messbedingungen; auf eine andere Kombination lassen sie sich nicht einfach übertragen. Deshalb messen wir vor einer Empfehlung in Ihrer Konfiguration nach. Und bevor Sie beschaffen, beantwortet die Potenzialanalyse die Frage, die am Anfang zählt: Was genau soll die Maschine können?
Häufige Fragen
Was bedeutet „KI ohne Cloud“ konkret?
Modellgewichte, Inferenz-Server und Ihre Daten liegen auf Maschinen in Ihrem Netz. Eine Anfrage geht vom Arbeitsplatz an den eigenen Server und kommt von dort zurück; nach außen fließt dabei nichts. Modell- und Software-Updates laden Sie bewusst herunter, statt sie über Nacht zu bekommen. Für den laufenden Betrieb brauchen Sie keine Internetverbindung, nur für die Pflege. Zugriffskontrolle und Backups liegen damit ebenfalls bei Ihnen.
Ist lokale KI so leistungsfähig wie ChatGPT?
Bei den anspruchsvollsten Aufgaben nicht. Die größten Cloud-Modelle haben mehr Parameter, als in eine bezahlbare Maschine passen, und liegen bei langem, mehrstufigem Schlussfolgern vorn. Für den Alltag im Unternehmen – zusammenfassen, entwerfen, klassifizieren, Fragen an eigene Dokumente – erreichen offene Modelle in passender Größe brauchbare Qualität. Ob das für Ihren Fall reicht, zeigt erst ein Test an Ihren eigenen Aufgaben und Dokumenten.
Was kostet lokale KI für ein Unternehmen?
Pauschalpreise wären geraten, deshalb nennen wir keine. Die Größenordnung bestimmen der nötige Videospeicher, die Zahl gleichzeitiger Nutzer, die Kontextlänge, der Verfügbarkeitsanspruch sowie Strom und Betreuung. Wie weit die 24-GB-Klasse trägt, zeigen unsere Messungen: Zwei gebrauchte RTX 3060 mit zusammen 24 GB VRAM erreichten 77 tok/s auf einem MoE-Modell mit 35 Milliarden Parametern, Board und CPU dazu kosteten 120 Euro. Eine einzelne RTX 3090 mit 24 GB trägt das dichte Qwen 3.8 27B mit 57,31 tok/s. Belastbare Projektzahlen entstehen, sobald der Anwendungsfall die Hardware festlegt.
Brauchen wir eigene GPU-Server?
Nicht zwingend. Für einen Piloten mit wenigen Nutzern genügt oft eine einzelne Workstation mit passender Grafikkarte. Ein Server im Rack lohnt sich, sobald mehrere Abteilungen gleichzeitig zugreifen, feste Verfügbarkeiten zugesagt sind oder der Betrieb in die reguläre IT-Landschaft gehört. Eine Zwischenstufe ist dedizierte Hardware in einem deutschen Rechenzentrum: physisch getrennt, aber weiterhin mit einem Dienstleister im Spiel, der vertraglich eingebunden werden muss.
Ist lokale KI automatisch DSGVO-konform?
Nein. Lokaler Betrieb erledigt zwei häufige Probleme: die Übermittlung in Drittländer und die Weiterverarbeitung durch einen Anbieter. Alles andere bleibt Ihre Aufgabe – Rechtsgrundlage, Verarbeitungsverzeichnis, Zweckbindung, Löschkonzept, Rollen- und Rechtevergabe, gegebenenfalls Datenschutz-Folgenabschätzung und Beteiligung des Betriebsrats. Ein Modell, das personenbezogene Daten aus Ihren Ablagen liest, braucht dieselbe Kontrolle wie jedes andere System mit diesem Zugriff.
Dürfen Kanzleien und Arztpraxen lokale KI nutzen?
Wir geben keine Rechtsauskunft, und die Frage ist von der Kanzlei oder Praxis selbst zu klären. Fachlich lässt sich sagen: § 203 StGB knüpft die Einbeziehung Dritter an Bedingungen, und lokale Verarbeitung hält den Kreis der Beteiligten klein, weil keine Inhalte an einen externen Dienst gehen. Berufsrecht, Kammervorgaben, Verschwiegenheitsverpflichtungen und die Dokumentation der Verarbeitung bleiben davon unberührt und sollten vor der Einführung geprüft werden.