KI im Mittelstand: Beispiele, Grenzen, Einstieg
· DigifyNow
KI im Mittelstand funktioniert dort, wo viel Text anfällt, sich Muster wiederholen und ein Mensch das Ergebnis vor dem Versand prüft: Anfragen sortieren, Angebote entwerfen, Handbücher durchsuchen, Belege auslesen. Starten Sie mit einem einzigen Prozess. Prüfen Sie das Modell mit 30 bis 50 echten Fällen aus Ihrem Alltag und unterstützen Sie die Entwicklung von KI-Kompetenz im Team, wie es Art. 4 EU AI Act seit 27.07.2026 vorsieht. Ausbauen lohnt sich erst, wenn dieser Test trägt.
Wo lohnt sich KI im Mittelstand überhaupt?
Wir bei DigifyNow prüfen vor jedem KI-Projekt dieselben drei Fragen. Erstens: Ist die Arbeit textlastig? Sprachmodelle lesen, fassen zusammen, sortieren und formulieren. Mit Zahlenkolonnen oder Maschinensteuerung haben sie wenig zu tun. Zweitens: Wiederholt sich der Vorgang oft genug? Ein Ablauf, der zweimal im Jahr vorkommt, rechtfertigt keinen Aufbau, eine Anfrage, die jeden Tag zwanzigmal kommt, schon eher. Drittens: Darf das erste Ergebnis Fehler enthalten, weil ein Mensch es sowieso prüft? Sprachmodelle arbeiten probabilistisch. Dieselbe Eingabe kann zu unterschiedlichen Ausgaben führen, und hin und wieder erfindet das Modell Details, die plausibel klingen. Deshalb setzen wir KI im Mittelstand fast immer als Entwurfsmaschine ein, nicht als letzte Instanz. Wenn alle drei Fragen mit Ja beantwortet sind, gibt es meist einen brauchbaren Kandidaten. Wenn nicht, ist eine klassische Automatisierung mit festen Regeln oft die bessere Wahl. Wann das der Fall ist, zeigt unser Beitrag zum Thema Prozesse automatisieren im KMU.

KI im Mittelstand: Welche Beispiele laufen in der Praxis?
Die Anwendungen unten sind typisch für kleine und mittlere Unternehmen, weil sie mit vorhandenen Daten auskommen und sich jederzeit gegenprüfen lassen. Gemeinsam ist allen, dass die KI einen Vorschlag macht und ein Mitarbeiter entscheidet. Die Tabelle nennt die Eingabe, was das Modell tut und an welcher Stelle geprüft wird. Wer einen der Fälle mit eigenen Werkzeugen und Freigaben umsetzen möchte, findet die technischen Schritte in unserer Anleitung, wie man einen KI-Agent erstellen kann.
| Anwendungsfall | Eingabe | Was die KI tut | Wo der Mensch prüft |
|---|---|---|---|
| Posteingang sortieren | E-Mails ans Sammelpostfach | ordnet Kategorie und Dringlichkeit zu, schlägt Zuständigen vor | Stichprobe der Zuordnungen |
| Angebotsentwurf | Kundenanfrage plus Preisliste | erstellt Textentwurf mit passenden Positionen | Preise und Mengen vor Versand |
| Wissensassistent | Handbücher, Arbeitsanweisungen als PDF | beantwortet Fragen mit Quellenangabe | Mitarbeiter öffnet die zitierte Stelle |
| Belegerfassung | Eingangsrechnungen | liest Rechnungsnummer, Beträge und Lieferant aus | Buchhaltung vor der Buchung |
| Besprechungsprotokoll | Transkript oder Notizen | fasst Beschlüsse und Aufgaben zusammen | Teilnehmer vor Verteilung |
| Stellenanzeige | Stichpunkte zur Position | formuliert Anzeigentext | Personalverantwortlicher |
Bei der Belegerfassung gilt eine Einschränkung: Kommt die E-Rechnung als XRechnung oder ZUGFeRD nach EN 16931, liegen die Daten schon strukturiert vor. Dann braucht es keine KI zum Auslesen, ein Parser reicht.
Wofür lohnt sich KI im Unternehmen nicht?
Ehrlich gesagt landen viele Anfragen bei uns, bei denen wir von KI abraten. Die Gründe wiederholen sich, und fast immer ist es eine Eigenschaft der Aufgabe, nicht die des Modells:
- Exakte Berechnungen wie Kalkulationen oder Lohnabrechnung: Sprachmodelle sagen Wörter voraus, sie rechnen nicht zuverlässig. Dafür gibt es festen Code.
- Rechtsverbindliche Auskünfte an Kunden: Eine erfundene Frist oder Vertragsklausel lässt sich nachträglich nicht zurückholen.
- Seltene Vorgänge: Wenn etwas nur ein paar Mal im Jahr passiert, kostet der Aufbau samt Test mehr Zeit, als der Ablauf je verbraucht.
- Unaufgeräumte Datenquellen: Widersprechen sich drei Versionen einer Arbeitsanweisung, zitiert der Assistent mal die eine, mal die andere.
- Fehlende Zuständigkeit: Pflegt niemand die Wissensbasis, veraltet sie, und die Antworten werden mit ihr falsch.
- Automatisierte Einzelentscheidungen über Personen, etwa Bewerberabsagen ohne menschliche Prüfung: Art. 22 DSGVO stellt dafür enge Bedingungen.
Nichts davon heißt, dass KI in diesen Bereichen gar keine Rolle spielen kann. Sie kann ein Kalkulationsergebnis erklären oder einen Vertragsentwurf gliedern. Die Berechnung und die Freigabe bleiben aber beim Menschen oder bei festem Code.

Welche Daten braucht ein KI-Projekt im Mittelstand?
Die meisten Anwendungen brauchen kein eigenes Training. Wir arbeiten mit Retrieval-Augmented Generation, kurz RAG: Ihre Dokumente werden in Abschnitte von einigen hundert Tokens zerlegt und durchsuchbar gespeichert. Bei jeder Frage holt das System die passendsten Abschnitte und gibt sie dem Modell als Kontext mit. So kann die Antwort die Quelle nennen, und eine neue Arbeitsanweisung ist verfügbar, sobald sie hochgeladen ist. Ein Nachtraining ist dafür nicht nötig. Wichtig ist das Format. Durchsuchbare PDFs, Word-Dateien und Wiki-Seiten funktionieren direkt. Gescannte Dokumente ohne Textebene müssen erst per Texterkennung (OCR) verarbeitet werden, und bei Tabellen oder handschriftlichen Notizen gehen dabei Informationen verloren. Für den Datenschutz gilt: Wenn ein externer Modellanbieter personenbezogene Daten verarbeitet, braucht es nach Art. 28 DSGVO einen Auftragsverarbeitungsvertrag, und der Serverstandort muss geklärt sein. Wir zeigen Ihnen, welche Anbieter und Hosting-Varianten es gibt. Ob der Einsatz in Ihrem Betrieb zulässig ist, klären Sie aber mit Ihrem Datenschutzbeauftragten. Das hängt davon ab, welche Daten Sie tatsächlich einspeisen.
Was verlangt der EU AI Act von mittelständischen Unternehmen?
Die KI-Verordnung (EU) 2024/1689 gilt stufenweise und wurde durch die Verordnung (EU) 2026/1744 geändert, in Kraft seit dem 27. Juli 2026. Wer ein fertiges Modell im eigenen Betrieb nutzt, ist in der Regel Betreiber und kein Anbieter. Das hält die Pflichten meist überschaubar, aber nicht bei null. Die wichtigsten Stichtage und Pflichten für den Mittelstand:
- Art. 4, gilt seit 2. Februar 2025, seit 27. Juli 2026 in geänderter Fassung: Anbieter und Betreiber ergreifen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit Betrieb und Nutzung von KI-Systemen befasst sind. Ein bestimmtes Kompetenzniveau müssen sie für niemanden garantieren.
- Seit 2. Februar 2025, Art. 5: verbotene Praktiken, etwa Emotionserkennung am Arbeitsplatz, von eng gefassten Ausnahmen abgesehen.
- Seit 2. August 2025: Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck. Die treffen die Modellhersteller, nicht den Nutzer.
- Seit 2. August 2026, Art. 50: Transparenzpflichten, etwa Hinweise, dass jemand mit einem KI-System interagiert. Anbieter von Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen und vor dem 2. August 2026 in Verkehr gebracht wurden, treffen die Maßnahmen für Art. 50 Abs. 2 bis zum 2. Dezember 2026.
Hochrisiko-Systeme nach Anhang III, zum Beispiel KI für die Auswahl von Bewerbern, sind für kleine Unternehmen selten, ziehen dann aber deutlich mehr Pflichten nach sich. Diese Vorschriften gelten nach dem geänderten Art. 113 erst ab dem 2. Dezember 2027, für Systeme nach Art. 6 Abs. 1 und Anhang I ab dem 2. August 2028. Wir erklären Ihnen, was die Regeln verlangen. Wie Sie sie in Ihrem Betrieb umsetzen, bleibt eine Aufgabe für Sie und Ihre rechtliche Beratung.

Wie führt man KI im Mittelstand Schritt für Schritt ein?
Bei DigifyNow verläuft eine Einführung in festen Etappen. Jede Etappe hat ein Ergebnis, an dem Sie entscheiden können, ob es weitergeht:
- Einschätzung: Wir gehen Ihre Abläufe durch und wählen einen einzigen Prozess nach den drei Kriterien textlastig, häufig und prüfbar aus.
- Testset: Sie stellen 30 bis 50 echte, anonymisierte Fälle zusammen. Das sind Anfragen, Dokumente oder E-Mails samt der Antwort, die ein erfahrener Mitarbeiter geben würde.
- Pilot: Wir bauen die Anwendung und lassen sie gegen das Testset laufen. Dabei zählen wir, wie viele Ergebnisse ohne Korrektur brauchbar sind und welche Fehlerarten auftreten.
- Schulung: Das Team lernt, wo das Modell danebenliegt und wie man Ergebnisse prüft. Art. 4 EU AI Act sieht in der Fassung seit 27. Juli 2026 vor, die Entwicklung solcher KI-Kompetenz zu unterstützen.
- Betrieb: Eine zuständige Person pflegt die Wissensbasis. Stichproben laufen weiter, weil Anbieter ihre Modelle aktualisieren und sich das Verhalten dabei ändern kann.
Fällt der Pilot schlecht aus, liegt es oft an den Daten und nicht am Modell. Das ist ein brauchbares Ergebnis, weil es billiger ist als ein ausgerollter Assistent, dem niemand traut. Wie die Schulung konkret abläuft, beschreiben wir unter KI-Coaching für Teams. Die Einführung eines internen Assistenten im Detail behandelt der Beitrag KI-Assistent für Unternehmen einführen.
Häufige Fragen
Was kostet KI im Mittelstand?
Einen Pauschalpreis gibt es nicht. Die Kosten setzen sich aus dem einmaligen Aufbau zusammen, also Anbindung, Datenaufbereitung, Test und Schulung, und aus laufenden Nutzungsgebühren. Die meisten Modellanbieter rechnen nach Tokens ab, getrennt nach Eingabe und Ausgabe. Ein Dokumentenassistent mit langen Kontexten verbraucht deshalb mehr als eine reine E-Mail-Sortierung.
Muss ich ein eigenes KI-Modell trainieren?
In fast allen Mittelstandsfällen nicht. Mit Retrieval-Augmented Generation (RAG) bekommt ein fertiges Modell bei jeder Anfrage passende Abschnitte aus Ihren Dokumenten mitgeliefert. Anders als beim Feintuning ist neues Wissen verfügbar, sobald das Dokument hochgeladen ist, und die Antwort kann ihre Quelle nennen.
Was bedeutet KI-Kompetenz nach Art. 4 EU AI Act?
Art. 4 der Verordnung (EU) 2024/1689 gilt seit dem 2. Februar 2025 und wurde durch die Verordnung (EU) 2026/1744 mit Wirkung zum 27. Juli 2026 geändert. Seitdem ergreifen Anbieter und Betreiber Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und weiterer in ihrem Auftrag tätiger Personen zu unterstützen. Ein bestimmtes Kompetenzniveau müssen sie für niemanden garantieren, ein Zertifikat schreibt die Verordnung nicht vor.
Wie lange dauert ein KI-Pilotprojekt?
Das hängt vom Prozess und vom Zustand der Daten ab, eine feste Zusage machen wir dafür nicht. Ein Pilot für einen einzelnen, klar umrissenen Ablauf ist deutlich kleiner als ein MVP für eine eigene Software, das bei uns in der Regel 4 bis 8 Wochen braucht. Am meisten Zeit geht meist in die Aufbereitung der Daten.