Lokale KI für Unternehmen: Wann sie sich lohnt
· DigifyNow
Lokale KI heißt: Ein offenes Sprachmodell läuft auf einem Server, den Ihr Unternehmen selbst betreibt oder exklusiv mietet. Eingaben und Dokumente bleiben in dieser Umgebung. Das passt, wenn Daten das Haus nicht verlassen sollen und die Aufgaben eng umrissen sind, etwa Dokumente durchsuchen, Eingänge sortieren oder Texte zusammenfassen. Hardware, Updates und Betrieb tragen Sie selbst. Auf bezahlbarer Hardware laufen kleinere Modelle als bei den großen Cloud-Diensten, deshalb entscheiden Sie für jeden Anwendungsfall einzeln.
Lokale KI für Unternehmen bedeutet, dass ein offenes Sprachmodell auf einem Server läuft, den Sie selbst betreiben oder exklusiv mieten. Prompts und Dokumente gehen dabei an keinen externen KI-Anbieter. Das lohnt sich für eng umrissene Aufgaben mit vertraulichen Daten wie Dokumentsuche, Posteingangssortierung oder Protokollzusammenfassungen. Als Ersatz für die großen Cloud-Modelle bei langen Analysen oder Code taugt es nicht, und Hardware, Updates und Betrieb liegen bei Ihnen.
Was bedeutet lokale KI für Unternehmen genau?
„Lokal“ beschreibt, wo das Modell rechnet, nicht wo der Nutzer sitzt. Ein offenes Sprachmodell, also eines, dessen Gewichte man herunterladen kann, läuft auf einem Rechner unter Ihrer Kontrolle. Das kann ein Server im eigenen Serverraum sein oder ein dedizierter GPU-Server, den Sie in einem Rechenzentrum mieten. Mitarbeiter greifen über eine Weboberfläche oder eine Schnittstelle darauf zu, und kein Prompt geht an einen externen KI-Anbieter. Bekannte offene Modellfamilien sind etwa Llama, Mistral, Qwen oder Gemma. Die Lizenzbedingungen unterscheiden sich von Modell zu Modell und sollten vor dem Einsatz geprüft werden.
Für erste Tests gibt es fertige Laufzeitumgebungen. Ollama zum Beispiel bietet laut eigener Download-Seite (Stand: November 2026) Installationspakete für macOS, Linux und Windows an. Laut Ollama-Blog stellt es außerdem eine Schnittstelle im Stil der OpenAI-API bereit. Anwendungen, die für diese Schnittstelle gebaut sind, lassen sich dadurch mit wenig Umbau auf ein lokales Modell umstellen.
Was man oft übersieht: Lokal ist nur das Modell. Die Daten, mit denen es arbeitet, kommen aus Ihrem Dateiserver, CRM oder Postfach. Hängt an einer dieser Quellen ein Cloud-Dienst, fließen die Daten dorthin, ganz egal, wo das Modell läuft. Welche Hardware ein Modell braucht und wie Werkzeuge wie Ollama oder LM Studio funktionieren, steht in unserem Artikel über die Optionen und Hardware, um KI lokal zu betreiben.

Eigener Server, Miet-GPU oder Cloud-API: Welche Variante passt?
Die Wahl hängt an vier Fragen. Wo dürfen die Daten verarbeitet werden? Wer kümmert sich um den Betrieb? Wie anspruchsvoll sind die Aufgaben? Und wie gleichmäßig wird das System genutzt? Die Tabelle misst alle drei Varianten am selben Maßstab.
| Kriterium | Eigener Server im Haus | Gemieteter GPU-Server (dediziert) | Cloud-API eines KI-Anbieters mit Vertrag |
|---|---|---|---|
| Wo wird gerechnet? | Im eigenen Gebäude | Im Rechenzentrum des Hosters, auf Hardware nur für Sie | Auf der Infrastruktur des KI-Anbieters |
| Wer betreibt Modell und Updates? | Ihre IT oder ein Dienstleister | Ihre IT oder ein Dienstleister. Die Hardware stellt der Hoster | Der Anbieter. Sie kümmern sich nur um die Anbindung |
| Welche Modelle gehen? | Nur offene Modelle, die in den Grafikspeicher passen | Wie im eigenen Haus, nur lässt sich größere Hardware schneller mieten | Auch die großen proprietären Modelle des Anbieters |
| Wie entstehen Kosten? | Anschaffung, Strom, Wartung und Personal, auch wenn gerade niemand das System nutzt | Monatliche Miete und Betrieb, unabhängig von der Nutzung | Abo pro Nutzer oder Abrechnung nach Tokens, je nach Verbrauch |
| Wo liegt die Grenze? | Ist die Hardware zu klein, bleiben große Modelle außen vor. Dazu kommt die Frage der Ausfallsicherheit | Sie brauchen einen Vertrag mit dem Hoster und Betriebswissen im Haus | Die Daten verlassen das Unternehmen. Nötig sind ein AV-Vertrag und Regeln, was eingegeben werden darf |
Was nicht funktioniert: lokale KI als Ersatz für alles, was die großen Cloud-Modelle können. Bei langen Analysen über viele Dokumente, bei Code oder bei Texten mit hohem sprachlichem Anspruch merkt man, wie groß ein Modell ist. Testen Sie deshalb jede Aufgabe mit echten Beispielen, bevor Sie Hardware kaufen. Was beim Cloud-Weg mit den Eingaben passiert, beschreibt unser Artikel zu ChatGPT, Datenschutz und Training mit Firmendaten.
Was kostet lokale KI im Unternehmen?
Oft heißt es, lokale KI habe keine laufenden Kosten, weil keine Token-Gebühren anfallen. Das stimmt nur für die Tokens. Die Kosten entstehen an anderer Stelle:
- Hardware: Den Ausschlag gibt der Grafikspeicher. Er bestimmt, welche Modellgröße überhaupt lädt und wie viele Anfragen gleichzeitig laufen können.
- Auslastung: Ein eigener Server kostet auch nachts und in der Urlaubszeit. Wird er wenig genutzt, ist jede einzelne Anfrage teurer als in der Cloud.
- Betrieb: Dazu gehören Updates für Betriebssystem und Treiber, Modellwechsel, Backups der Wissensdatenbank, Überwachung und Zugriffsrechte. Fühlt sich niemand dafür zuständig, veraltet das System.
- Anbindung: Schnittstellen zu Dateiablage, CRM oder Postfach machen oft mehr Arbeit als das Modell selbst.
- Schulung: Mitarbeiter müssen wissen, wofür das System taugt und wo es falsche Antworten liefert.
Einen belastbaren Betrag gibt es erst, wenn Anwendungsfall, Nutzerzahl, Datenquellen und Betriebsmodell feststehen. Wie Abo, Tokens und Agentenschleifen bei Cloud-Lösungen die Rechnung treiben, zeigt unser Beitrag zu KI-Kosten für Abo, Tokens und Betrieb.

KI-Assistent im Unternehmen: Wie arbeitet er mit lokalen Daten?
Ein KI-Assistent im Unternehmen beantwortet Fragen aus Ihren eigenen Unterlagen, etwa aus Handbüchern, Verträgen, Angeboten oder Prozessbeschreibungen. Das Verfahren dahinter heißt RAG (Retrieval-Augmented Generation). Ihre Dokumente werden in Abschnitte zerlegt und als Vektoren in einer Datenbank gespeichert. Bei jeder Frage sucht das System die passenden Abschnitte heraus und gibt sie dem Modell zusammen mit der Frage. Alle drei Bausteine laufen auch lokal: das Einbettungsmodell, die Vektordatenbank und das Sprachmodell.
Der häufigste Fehler liegt nicht am Modell, sondern an den Rechten. Landen alle Dokumente in einem gemeinsamen Index, findet der Assistent für jeden Nutzer auch Gehaltslisten oder Personalakten. Deshalb müssen die Zugriffsrechte der Quelle bei jeder Suche mitgeprüft werden. Der zweite typische Fehler sind veraltete Unterlagen: Der Assistent zitiert, was im Index liegt, also auch die Preisliste von vorletztem Jahr. Wie DigifyNow solche Assistenten aufbaut, steht auf der Seite zum KI-Assistenten für Unternehmen. Den Ablauf einer Einführung beschreibt unser Artikel zum Thema.
Beispiel: Wie läuft ein lokaler Wissensassistent für den Service ab?
Ein angenommenes Beispiel, so wie wir es mit Interessenten durchspielen: Ein Maschinenbauer möchte, dass seine Servicetechniker Fragen zu Wartungshandbüchern und alten Störungsberichten stellen können. Die Unterlagen enthalten Kundendaten und Konstruktionsdetails und sollen deshalb im Haus bleiben. So sieht der Ablauf aus:
- Testfragen sammeln: Die Techniker schreiben echte Fragen aus ihrem Alltag auf, jeweils mit der richtigen Antwort und dem Dokument, in dem sie steht. Diese Liste wird später zum Abnahmetest.
- Quellen prüfen: Welche Handbücher sind aktuell, welche Berichte sind nur gescannte Bilder ohne Text? Gescanntes muss zuerst per OCR in Text umgewandelt werden, sonst findet die Suche es nicht.
- Rechte übernehmen: Jeder Abschnitt im Index bekommt die Berechtigung seines Quellordners mit. Ein Techniker sieht dann nur, was er auch auf dem Dateiserver öffnen dürfte.
- Modell testen: Ein kleineres und ein größeres offenes Modell beantworten dieselben Testfragen. Gezählt wird, wie oft die Antwort stimmt und ob die Quelle richtig angegeben ist. Erst danach steht fest, wie viel Grafikspeicher der Server braucht.
- Aktualisierung regeln: Neue oder geänderte Dokumente werden automatisch neu eingelesen, gelöschte verschwinden auch aus dem Index. Fehlt dieser Schritt, zitiert der Assistent nach ein paar Monaten veraltete Stände.
Wie funktioniert ein KI-Agent?
Ein KI-Agent beantwortet nicht nur Fragen, er handelt. Er bekommt ein Ziel und eine Liste von Werkzeugen, etwa „Kalender lesen“, „Datensatz im CRM anlegen“ oder „E-Mail-Entwurf speichern“. Das Modell entscheidet, welches Werkzeug es aufruft, und gibt die Parameter in einem festen Format aus, meist JSON. Ein Programm führt den Aufruf aus und reicht das Ergebnis zurück. Diese Schleife läuft, bis das Ziel erreicht ist oder eine Abbruchgrenze greift. Für die Anbindung von Werkzeugen gibt es mit dem Model Context Protocol einen offenen, öffentlich dokumentierten Standard.
Für lokale Agenten heißt das: Das Modell muss über mehrere Schritte hinweg zuverlässig gültige Werkzeugaufrufe erzeugen. Prüfen Sie das an Ihren eigenen Abläufen, denn ein falsch formatierter Aufruf bricht die Schleife ab. Agenten mit Schreibrechten, die also Daten ändern oder Mails versenden, brauchen eine Freigabe durch einen Menschen und ein Protokoll jeder Aktion. Mehr zu den Bausteinen erklärt unser Artikel zu Funktionsweise und Grenzen von KI-Chatbots und Agenten.

Beispiele für KI-Agenten, die lokal laufen können
Lokal eignen sich vor allem Agenten mit klar umrissenen Aufgaben und wenigen Werkzeugen. Einige Beispiele und wo sie an Grenzen stoßen:
- Posteingang sortieren: Der Agent ordnet eingehende Mails nach Anfrage, Reklamation oder Rechnung und legt sie in die richtige Warteschlange. Das klappt gut, solange die Kategorien eindeutig definiert sind.
- Eingangsrechnungen vorbereiten: Der Agent liest Lieferant, Betrag und Datum aus einem PDF und schlägt eine Buchung vor. Gescannte Belege ohne Texterkennung brauchen zuerst OCR, und gebucht wird erst nach Prüfung durch einen Menschen.
- Angebotsentwurf aus einer Anfrage: Der Agent sucht passende Positionen aus früheren Angeboten und erstellt einen Entwurf. Liegen Artikelstamm und Preise nicht strukturiert vor, rät das Modell.
- Interne Wissenssuche mit Quellenangabe: Mitarbeiter stellen eine Frage, der Agent antwortet und verlinkt das Dokument. Die Grenze sind wie beim Assistenten die Zugriffsrechte.
- Protokolle zusammenfassen: Aus Besprechungsnotizen entstehen Aufgaben mit Verantwortlichen. Bei vertraulichen Gesprächen ist das ein typischer Grund für den lokalen Betrieb.
Weitere Fälle mit ihren Voraussetzungen sammelt unser Artikel mit Beispielen für KI-Agenten im Mittelstand. Wie DigifyNow Abläufe mit KI automatisiert, beschreibt die Seite zur KI-Automatisierung.
KI Ads: Lohnt sich lokale KI für Werbeanzeigen?
Für Werbeanzeigen bringt lokale KI meist keinen Datenschutzvorteil. Anzeigentexte und Bilder werden ohnehin bei Google oder Meta hochgeladen und dort veröffentlicht. Lokal lohnt sich höchstens der Schritt davor, wenn interne Daten wie Margen oder Kundenlisten in die Planung einfließen. Für Bilder und Videos braucht man außerdem andere Modelle und deutlich mehr Rechenleistung als für Text.
Rechtlich spielt hier die KI-Verordnung der EU hinein. Ihr Art. 50 regelt Transparenzpflichten für KI-erzeugte Inhalte und gilt nach dem Stand der jüngsten Änderungsverordnung seit dem 2. August 2026. Anbieter von Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen und vor diesem Datum in Verkehr gebracht wurden, treffen die erforderlichen Maßnahmen, um Art. 50 Abs. 2 bis zum 2. Dezember 2026 nachzukommen. Welche Pflicht Sie selbst trifft, hängt an Ihrer Rolle und am Inhalt und sollte im Einzelfall rechtlich geprüft werden. Zu AI Ad Studio, einem Produkt von DigifyNow für die Erstellung von Anzeigen mit KI, macht DigifyNow hier keine Aussage zur Kennzeichnung.

Was verlangt die KI-Verordnung bei lokaler KI?
Am lokalen Betrieb ändert das nichts: Sie bleiben Betreiber eines KI-Systems. Nach Art. 4 der KI-Verordnung ergreifen Anbieter und Betreiber Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind. Seit der jüngsten Änderung der Verordnung müssen sie dabei kein bestimmtes Kompetenzniveau für einzelne Personen garantieren. Die Hochrisiko-Vorschriften gelten für Systeme nach Anhang III ab dem 2. Dezember 2027, für Systeme nach Anhang I ab dem 2. August 2028. Ein interner Wissensassistent fällt in der Regel nicht darunter, ein System zum Vorsortieren von Bewerbern kann darunter fallen. Klären Sie diese Abgrenzung vor dem Projekt. Wie DigifyNow Mitarbeiter im Umgang mit KI schult, steht auf der Seite zum KI-Coaching.
Wann sich Unterstützung lohnt
Hilfe von außen lohnt sich, wenn Ihre Daten aus mehreren Systemen kommen, wenn ein Assistent Zugriffsrechte beachten muss oder wenn niemand im Haus den Server dauerhaft betreuen kann. Legen Sie sich zwei oder drei konkrete Aufgaben mit echten Beispieldokumenten zurecht, dazu die beteiligten Systeme, die Zahl der Nutzer und Ihre Vorgaben, wo die Daten liegen dürfen. Mit diesen Angaben können Sie bei DigifyNow eine kostenlose, unverbindliche Einschätzung Ihres Vorhabens anfragen. Darin klären wir, ob ein eigener Server, ein gemieteter Server oder die Cloud zu Ihrem Fall passt. DigifyNow arbeitet deutschlandweit, mit Schwerpunkt im Westerwald, in Koblenz und im Siegerland.

Häufige Fragen
Was ist lokale KI für Unternehmen?
Lokale KI ist ein offenes Sprachmodell, dessen Gewichte herunterladbar sind und das auf Hardware unter Ihrer Kontrolle läuft, also im eigenen Serverraum oder auf einem exklusiv gemieteten GPU-Server. Anders als bei einer Cloud-API gehen Prompts an keinen externen KI-Anbieter. Im Gegenzug tragen Sie Hardware, Updates und Betrieb selbst und arbeiten meist mit kleineren Modellen als die großen Cloud-Dienste.
Ist mit lokaler KI die Datenschutzfrage erledigt?
Nein. Lokal heißt nur, dass das Modell auf Ihrer Hardware rechnet. Ob die Verarbeitung zulässig ist, hängt an Zweck, Rechtsgrundlage, Zugriffsrechten, Löschfristen und am Betrieb. Ein lokaler Assistent, der jedem Nutzer Personalakten zeigt, ist ein Problem. Ein Cloud-Dienst mit AV-Vertrag und klaren Eingaberegeln ist es nicht zwangsläufig. Lassen Sie die Bewertung für Ihren konkreten Ablauf prüfen.
Reicht ein normaler Büro-PC für lokale KI?
Für Tests mit kleinen, quantisierten Modellen oft schon, denn Laufzeitumgebungen gibt es für die gängigen Betriebssysteme. Für mehrere gleichzeitige Nutzer und größere Modelle braucht es aber eine Grafikkarte mit genug Speicher, weil das Modell vollständig hineinpassen muss. Passt es nicht, wird ein Teil auf den Prozessor ausgelagert, und die Antworten kommen deutlich langsamer.
Was ist der Unterschied zwischen KI-Assistent und KI-Agent?
Ein KI-Assistent beantwortet Fragen, im Unternehmen meist per RAG aus eigenen Dokumenten, und ändert dabei nichts. Ein KI-Agent ruft zusätzlich Werkzeuge auf: Er legt Datensätze an, schreibt Entwürfe oder bucht Termine, und zwar in einer Schleife über mehrere Schritte. Ein Agent braucht deshalb Freigaben, Abbruchgrenzen und ein Protokoll, ein Assistent vor allem saubere Zugriffsrechte.
Kann man von Cloud-KI später auf lokale KI umsteigen?
Ja, wenn die Anwendung das Modell über eine austauschbare Schnittstelle anspricht und Prompts, Wissensdatenbank und Werkzeuge nicht an einen Anbieter gebunden sind. Viele lokale Server bieten eine API im Stil der OpenAI-Schnittstelle. Nacharbeit fällt trotzdem an: Prompts, die für ein großes Cloud-Modell geschrieben wurden, liefern mit einem kleineren lokalen Modell oft andere Ergebnisse und müssen neu getestet werden.