KI im Mittelstand:vom ersten Versuchzum festen Ablauf

KI im Mittelstand ist 2026 kein Randthema mehr, aber in vielen Betrieben noch eine Sammlung einzelner Werkzeuge statt ein geordneter Ablauf. Wie viele Unternehmen KI nutzen, hängt stark davon ab, wen man fragt (je nach Erhebung zwischen einem Fünftel und gut der Hälfte der deutschen Unternehmen), und die mittleren Unternehmen liegen dabei, anders als man vielleicht erwarten würde, nicht vorn. Als Hürde wird am häufigsten fehlendes Wissen genannt, und eben nicht die Technik. Wer KI im Unternehmen einführen will, ist deshalb mit einem klaren Weg gut beraten, der mit wenigen passenden Aufgaben und einem Pilot beginnt; danach schulen Sie das Team nach Artikel 4 der KI-Verordnung, legen Freigaberegeln fest und messen am Ende den Nutzen.

Nikolai Schöbel und Jeremias Burger

Co-Founder der Scalableloops GmbH. Nikolai Schöbel verantwortet Online-Marketing und KI-Strategie, Jeremias Burger die KI-Architektur. Beide bauen und schulen KI-Systeme im eigenen Agenturalltag.

Was sagen diese Zahlen über den eigenen Betrieb?

Zwei Muster ziehen sich durch alle Erhebungen. Das erste ist das Tempo: Bei der ifo-Umfrage stieg die Nutzung von 40,9 Prozent im Jahr 2025 auf 54,5 Prozent im Mai 2026, bei Bitkom innerhalb eines Jahres von 36 auf 57 Prozent. Das zweite hat uns eher überrascht, denn mittlere Unternehmen liegen nicht vorn. In der ifo-Umfrage nutzen sie mit 47,2 Prozent seltener KI als große und sogar seltener als kleine.

Die KfW kommt in ihrer Auswertung vom Juli 2026 zu einem Befund, den wir für Geschäftsführer wichtiger halten als jede Quote: Entscheidend für den Einsatz ist weniger die Größe eines Unternehmens als vor allem der Digitalisierungsgrad, das vorhandene digitale Know-how und die allgemeine Innovationsfreude. Wer schon digital arbeitet, führt KI leichter ein. Und wer dort Lücken hat, schließt sie am besten gleich beim Einstieg mit.

Dazu kommt, dass Nutzen noch lange nicht Ausschöpfen heißt. In der Bitkom-Befragung gibt kein einziges Unternehmen, das KI einsetzt, an, ihr Potenzial vollständig zu nutzen, was vermutlich auch daran liegt, dass viele Betriebe zwar einzelne Werkzeuge im Einsatz haben, aber noch keinen geordneten Weg, wie KI in ihre Abläufe kommt.

Wie führen Sie KI im Unternehmen ein?

Bewährt hat sich ein Weg in kleinen Schritten, von denen sich jeder einzeln überprüfen lässt; er fängt bei den Aufgaben an und nicht beim Werkzeug, und fertig ist er erst, wenn der Nutzen gemessen ist. Die Reihenfolge wirkt vielleicht pedantisch, hat aber einen Grund, den man leicht unterschätzt. Wer mit der Werkzeugauswahl beginnt, sucht hinterher Aufgaben für das Werkzeug und geht damit genau in die falsche Richtung.

1. 01

   01

   Aufgaben auswählen

   Sammeln Sie Tätigkeiten, die regelmäßig anfallen, viel Zeit kosten und nach einem erkennbaren Muster ablaufen: Anfragen beantworten, Angebote vorbereiten, Texte entwerfen, Dokumente zusammenfassen, Daten zwischen Programmen übertragen. Wählen Sie zwei oder drei davon aus, bei denen ein Fehler korrigierbar ist und das Ergebnis sich leicht prüfen lässt.

2. 02

   02

   Ausgangslage festhalten

   Notieren Sie vor dem Start, wie lange die Aufgabe heute dauert, wie oft sie anfällt und wie viele Rückfragen oder Korrekturen entstehen. Ohne diesen Vergleichswert lässt sich später nicht sagen, ob sich die Einführung gelohnt hat.

3. 03

   03

   Pilot mit echtem Arbeitsmaterial

   Testen Sie einige Wochen lang mit einer kleinen Gruppe und echten Fällen. Legen Sie vorher fest, welche Daten in das Werkzeug dürfen und welche nicht, und klären Sie mit Ihrem Datenschutzbeauftragten, wo die Daten verarbeitet werden.

4. 04

   04

   Team schulen

   Wer KI im Betrieb einsetzt, muss nach Artikel 4 der KI-Verordnung Maßnahmen ergreifen, die den Aufbau von KI-Kompetenz bei den Beschäftigten unterstützen. Eine Schulung an den eigenen Aufgaben erfüllt diesen Zweck und senkt zugleich die größte Hürde, das fehlende Wissen. Halten Sie fest, wer wann zu welchem Werkzeug geschult wurde.

5. 05

   05

   Freigaberegeln festlegen

   Bestimmen Sie, welche Ergebnisse ein Mensch prüft, bevor sie das Haus verlassen: Kundenmails, Angebote, Veröffentlichungen, alles mit Zahlen oder rechtlicher Wirkung. KI-Systeme können überzeugend klingende Fehler liefern, deshalb gehört die Prüfung in den Ablauf und nicht in das Ermessen des Einzelnen.

6. 06

   06

   Messen und ausweiten

   Vergleichen Sie nach dem Pilot Zeitaufwand, Fehlerquote und Zufriedenheit mit der Ausgangslage. Erst was dort besteht, wird in den Regelbetrieb übernommen und auf weitere Aufgaben übertragen. Was nicht besteht, wird angepasst oder beendet.

Was verlangt die KI-Verordnung bei der Einführung?

Um eine Pflicht kommt man beim Einstieg nicht herum, und das ist die KI-Kompetenz nach Artikel 4 der KI-Verordnung. Sie gilt seit dem 2. Februar 2025 für Betriebe, die KI-Systeme einsetzen, egal in welcher Branche und wie groß, also auch dann, wenn Ihr Team bloß mit einem Chatbot wie ChatGPT arbeitet.

Seit dem 27. Juli 2026 gilt die Vorschrift in geänderter Fassung, und die dürfte für die meisten Betriebe eher eine Erleichterung sein: Sie müssen Maßnahmen ergreifen, die den Aufbau von KI-Kompetenz unterstützen, schulden aber kein bestimmtes Kompetenzniveau mehr für jede einzelne Person. Ein Zertifikat schreibt niemand vor. Die EU-Kommission empfiehlt aber, die Maßnahmen intern zu dokumentieren, und die Bundesnetzagentur sieht das genauso.

Was genau dazu gehört und wie Sie es festhalten, steht ausführlich im Beitrag zur KI-Schulungspflicht nach Artikel 4. Setzen Sie später einen Chatbot ein, der mit Kunden spricht, kommen noch Hinweispflichten dazu (die beschreiben wir im Beitrag zur Kennzeichnungspflicht für Chatbots).

Welche Fehler bremsen KI im Mittelstand aus?

Mit dem Werkzeug statt mit der Aufgabe beginnen. Eine Lizenz für alle ist schnell gekauft. Nur nutzt dann, solange keine Aufgaben ausgewählt sind, jeder das Werkzeug auf seine Weise, und fragt man später, was es gebracht hat, weiß das keiner so genau.

Ohne Regeln für Daten starten. Ist nicht festgelegt, welche Kunden-, Personal- oder Vertragsdaten in ein KI-Werkzeug dürfen, entscheidet das jeder für sich. Das ist ziemlich genau die Unsicherheit, die in den Erhebungen als Hürde auftaucht.

Die Schulung auslassen. Wer ohne Einweisung startet, hat für die Pflicht aus Artikel 4 keine Maßnahme vorzuweisen. Und die Ergebnisse werden schwächer, weil das Team weder gute Aufträge formulieren noch Fehler zuverlässig erkennen kann.

Ergebnisse ungeprüft übernehmen. Sprachmodelle können Angaben erfinden, daran ändert auch das beste Werkzeug wenig. Eine Freigaberegel für alles, was an Kunden oder in die Öffentlichkeit geht, sorgt dafür, dass solche Fehler nicht Ihren Namen tragen.

Nicht messen. Ohne Ausgangswert bleibt jede Einführung eine Gefühlsfrage, und nach Gefühl entscheidet man schlecht, was man ausbaut. Dabei kostet es kaum Mühe, Zeitaufwand und Korrekturen vorher und nachher aufzuschreiben.