Lokale KI:Was wirklich im Haus bleibtund was nicht

Lokale KI bedeutet, dass ein Unternehmen seine KI-Anwendung so betreibt, dass die Kontrolle über Daten und System im eigenen Haus bleibt, statt alles einem Cloud-Dienst zu überlassen. Dahinter stecken allerdings zwei sehr verschiedene Wege. Beim ersten läuft das Sprachmodell selbst vollständig auf Ihrem Server, und kein Text verlässt das Firmennetz. Beim zweiten liegen Anwendung, Ablagen und Unterlagen bei Ihnen, während das Modell, das die Antworten formuliert, als Dienst eines KI-Anbieters aufgerufen wird (im Alltag verschwimmt diese Unterscheidung leicht). Beide Wege haben ihre Berechtigung. Welcher passt, hängt vor allem an den Daten, die Sie verarbeiten, und an der Qualität, die Sie brauchen, und dann bleibt noch die Frage, wer die Technik eigentlich betreuen soll.

Nikolai Schöbel und Jeremias Burger

Co-Founder der Scalableloops GmbH. Nikolai Schöbel verantwortet Online-Marketing und KI-Strategie, Jeremias Burger die KI-Architektur. Beide bauen und schulen KI-Systeme im eigenen Agenturalltag.

Wie läuft ein KI-Modell komplett auf dem eigenen Server?

Voraussetzung sind sogenannte offene Modelle, deren Gewichte veröffentlicht sind und die Sie auf eigener Hardware ausführen dürfen. Das Angebot ist in den vergangenen Jahren deutlich gewachsen. Am 5. August 2025 hat OpenAI mit gpt-oss-120b und gpt-oss-20b zwei offene Modelle unter der Apache-2.0-Lizenz veröffentlicht, laut TechCrunch die ersten offenen Sprachmodelle des Unternehmens seit GPT-2. Offene Modelle bieten außerdem unter anderem DeepSeek und Alibaba mit der Qwen-Reihe an.

Der Hardwarebedarf richtet sich nach der Modellgröße. OpenAI gibt an, dass das größere Modell auf eine einzelne Rechenzentrums-Grafikkarte mit 80 GB Speicher passt und das kleinere Modell mit 16 GB Speicher auskommt. Das kleinere lässt sich damit bereits auf einem gut ausgestatteten Arbeitsrechner betreiben, das größere braucht Server-Hardware. Für den Einsatz im Team kommen gleichzeitige Anfragen mehrerer Personen hinzu, die zusätzliche Reserven verlangen.

Laut MIT Technology Review wollen gerade Organisationen wie Krankenhäuser, Kanzleien und Behörden Modelle aus Gründen der Datensicherheit lokal betreiben, was uns wenig überrascht. Der Gewinn liegt auf der Hand: Eingaben verlassen Ihr Netz nicht, kein externer Anbieter verarbeitet Daten, und Preis- oder Produktentscheidungen eines Cloud-Dienstes betreffen Sie schlicht nicht mehr.

Wie funktioniert KI auf eigenem Server mit einem Cloud-Modell?

Beim zweiten Weg trennen Sie Datenhaltung und Rechenleistung. Anwendung, Wissensbestand, Vorlagen und Verläufe liegen auf Ihrem Server. Nur wenn eine Aufgabe es erfordert, geht der dafür nötige Ausschnitt an ein Sprachmodell eines Anbieters, und die Antwort kommt zurück. Sie behalten damit die Hoheit über Ihren Datenbestand und nutzen trotzdem die leistungsstärksten Modelle.

Entscheidend ist, unter welchen Bedingungen der Anbieter die übermittelten Daten verarbeitet. Die Unterschiede zwischen Verbraucher- und Geschäftsangeboten sind erheblich. Ein Beispiel: OpenAI verwendet Daten, die über seine Programmierschnittstelle gesendet werden, nach eigener Dokumentation nicht zum Training seiner Modelle, es sei denn, der Kunde stimmt dem ausdrücklich zu. Diese Regel gilt seit dem 1. März 2023. Seit Februar 2025 können Geschäftskunden bei OpenAI außerdem für berechtigte Schnittstellen eine Verarbeitung in Europa wählen.

Solche Zusagen ersetzen keine eigene Prüfung. Sie erklären aber, warum Weg B für viele Unternehmen der pragmatische Mittelweg ist: Das Wissen des Betriebs liegt zentral im Haus, das Modell bleibt austauschbar, und welche Daten an wen gehen, legen Sie pro Aufgabe fest. Aufgaben mit besonders sensiblen Daten können Sie dann immer noch einem lokalen Modell zuweisen.

Ist lokale KI automatisch DSGVO-konform?

Nein, aber sie macht vieles einfacher. Die Datenschutzkonferenz, das Gremium der deutschen Datenschutzaufsichtsbehörden, hat am 6. Mai 2024 eine Orientierungshilfe zu KI und Datenschutz veröffentlicht. Darin unterscheidet sie geschlossene Systeme, bei denen die Verarbeitung in einer abgegrenzten Umgebung stattfindet und die Kontrolle über Ein- und Ausgaben bei den Anwendenden liegt, von offenen Systemen, die ein Anbieter etwa als Cloud-Lösung betreibt. Technisch geschlossene Systeme hält sie aus datenschutzrechtlicher Sicht für vorzugswürdig.

Setzen Sie eine KI-Anwendung eines externen Anbieters ein, besteht nach der Orientierungshilfe häufig ein Auftragsverarbeitungsverhältnis nach Art. 28 DSGVO, mit dem Anbieter ist dann eine entsprechende Vereinbarung abzuschließen. Außerdem soll geprüft werden, ob Ein- und Ausgaben für das Training verwendet werden, und diese Nutzung möglichst ausgeschlossen werden. Gehen Daten in Staaten außerhalb der EU, gelten die Regeln aus Kapitel V der DSGVO.

Für die USA gibt es seit dem 10. Juli 2023 einen Angemessenheitsbeschluss der EU-Kommission, das EU-US Data Privacy Framework. Er erlaubt Übermittlungen an Empfänger, die unter diesem Rahmen zertifiziert sind. Das Gericht der Europäischen Union hat den Beschluss am 3. September 2025 bestätigt, am 31. Oktober 2025 wurde dagegen Rechtsmittel beim Europäischen Gerichtshof eingelegt. Wer auf Übermittlungen in die USA setzt, sollte das Verfahren im Blick behalten; Weg A und eine Verarbeitung in Europa machen Sie davon unabhängiger.

Unabhängig vom Betriebsort bleiben Pflichten bestehen: eine Rechtsgrundlage für die Verarbeitung, Information der Betroffenen, Umsetzung ihrer Rechte und, wo ein hohes Risiko zu erwarten ist, eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO. Die Datenschutzkonferenz schreibt, dass dies beim Einsatz von KI-Anwendungen vielfach der Fall sein wird. Dazu kommt seit dem 2. Februar 2025 die Pflicht zur KI-Kompetenz aus der KI-Verordnung, die wir im Beitrag KI-Schulungspflicht nach Artikel 4 erklären.

Wie setzen wir lokale KI in Ihrem Betrieb um?

Unser KI-Agentensystem folgt Weg B und lässt Weg A offen. Das System und Ihre Ablagen liegen auf Ihrem Server. Welches Sprachmodell die Arbeit erledigt, entscheiden Sie: ein Cloud-Modell mit hoher Qualität, ein lokales offenes Modell oder beides, je nach Aufgabe. Sie sind damit nicht an einen KI-Anbieter gebunden.

Das System lernt Ihren Betrieb kennen, arbeitet mit den Programmen, die Sie bereits nutzen, und bereitet Arbeit vor, die ein Mensch prüft und freigibt, bevor etwas nach außen geht. Welche Daten an welches Modell gehen dürfen, klären wir gemeinsam mit Ihnen und Ihrem Datenschutz, bevor wir etwas einrichten.

Damit Ihr Team die neuen Möglichkeiten sicher nutzt, begleiten wir die Einführung mit einer KI-Schulung, abgestimmt auf die Aufgaben in Ihrem Betrieb. Setzen Sie KI im Kundenkontakt ein, etwa als Chatbot, beachten Sie zusätzlich die Hinweise im Beitrag zur Kennzeichnungspflicht für Chatbots.