Was istlokale KI?
Hinter dem Wort lokal stecken zwei verschiedene Wege, und nur einer davon hält das Versprechen, dass kein Text das Haus verlässt.
Direkt zur Anfrage
Sprechen wir über Ihr Projekt.
Erst prüfen wir, ob das Vorhaben zu Ihrem Geschäftsmodell passt. Dann folgt ein Vorschlag mit Phasen und Aufwand.
Lokale KI besprechen oder anrufen: +49 151 1576 5566Lokale KI bedeutet, dass ein Unternehmen seine KI-Anwendung so betreibt, dass die Kontrolle über Daten und System im eigenen Haus bleibt. Gemeint sind damit allerdings zwei Wege: Entweder rechnet das Sprachmodell selbst auf Ihrer Hardware, oder Anwendung und Unterlagen liegen bei Ihnen, während das Modell als Dienst eines Anbieters aufgerufen wird.
- Nur wenn das Modell selbst im Haus rechnet, verlässt kein Text das Firmennetz.
- Offene Modelle laufen auf eigener Hardware, sind aber meist kleiner als die stärksten Cloud-Modelle.
- Die Datenschutzkonferenz hält technisch geschlossene Systeme für vorzugswürdig.
Welche Art lokaler KI schützt Ihre Daten wie weit?
Beim ersten Weg laden Sie ein offenes Sprachmodell herunter und betreiben es im eigenen Rechenzentrum oder bei einem Hoster Ihrer Wahl, man spricht dann auch von On-Premise-KI oder KI ohne Cloud. Beim zweiten liegen Anwendung, Ablagen und Wissensbestand auf Ihrem Server, und nur die jeweils benötigten Textausschnitte gehen zur Verarbeitung an das Modell eines Anbieters. Beide Wege darf man lokal nennen, und deshalb lohnt im Gespräch mit Anbietern vor allem eine Frage: Wo rechnet das Modell?
Was Sie brauchen, um ein lokales Modell selbst zu betreiben
Der Hardwarebedarf richtet sich nach der Modellgröße. Am 5. August 2025 hat OpenAI mit gpt-oss-120b und gpt-oss-20b zwei offene Modelle unter der Apache-2.0-Lizenz veröffentlicht; das kleinere kommt laut OpenAI mit 16 GB Speicher aus, das größere passt auf eine einzelne Rechenzentrums-Grafikkarte mit 80 GB Speicher. Arbeiten mehrere Leute gleichzeitig damit, brauchen Sie Reserven obendrauf.
Dazu kommt die Qualität. Kleinere Modelle haben laut OpenAI weniger Weltwissen und erfinden eher Fakten, was beim Zusammenfassen oder Durchsuchen eigener Unterlagen selten stört, bei längeren Analysen oder sehr guten Texten in mehreren Sprachen aber schon. Und jemand muss Hardware, Updates und Sicherheit betreuen, die Kosten verschieben sich also eher, als dass sie wegfallen.
Macht lokale KI Ihren Datenschutz einfacher?
Ja, aber sie erledigt ihn nicht. Die Datenschutzkonferenz unterscheidet in ihrer Orientierungshilfe vom 6. Mai 2024 geschlossene Systeme in einer abgegrenzten Umgebung von offenen Systemen, die ein Anbieter etwa als Cloud-Lösung betreibt, und hält die geschlossenen für vorzugswürdig. Rechtsgrundlage, Information der Betroffenen, deren Rechte und, wo ein hohes Risiko zu erwarten ist, eine Datenschutz-Folgenabschätzung bleiben trotzdem Ihre Aufgabe, ganz gleich, wo das Modell rechnet.
Häufige Fragen
Ist eine lokale KI so gut wie ChatGPT?
Für viele Alltagsaufgaben reicht die Qualität offener Modelle. Bei anspruchsvollen Aufgaben würden wir es an echten Beispielen aus Ihrem Betrieb ausprobieren, bevor Sie sich festlegen.
Brauche ich bei einem Cloud-Modell einen Vertrag zur Auftragsverarbeitung?
Häufig ja. Die Datenschutzkonferenz sieht einen externen Anbieter, der eine KI-Anwendung für Sie betreibt, oft als Auftragsverarbeiter nach Art. 28 DSGVO, und dann gehört eine entsprechende Vereinbarung dazu.
Ist lokale KI automatisch DSGVO-konform?
Leider nein. Einen externen Auftragsverarbeiter für das Modell haben Sie damit vom Tisch, die übrigen Pflichten aus der DSGVO bleiben aber bestehen.
Wo Sie das Thema vertiefen
Lokale KI im Unternehmen: Was „lokal“ wirklich heißt
KI-Assistent für Unternehmen: Arten, Nutzen, Datenschutz
Begriffe, die Sie im selben Zusammenhang kennen sollten
KI-Assistent · RAG (Retrieval Augmented Generation) · Vektordatenbank · LLM (Large Language Model) · Halluzination (KI) · Zum KI-Glossar A-Z
Ob lokal oder Cloud, ist weniger eine Glaubensfrage als eine Frage von Aufgaben und Daten.