News

KI lokal betreiben: Optionen, Hardware, Grenzen

28. Oktober 2026 · DigifyNow

Wer KI lokal betreibt, lädt die Gewichte eines offenen Sprachmodells auf eigene Hardware. Eine Laufzeit wie Ollama oder LM Studio berechnet dort die Antworten. Die Verarbeitung läuft also nicht beim Cloud-Anbieter. Entscheidend ist, ob Modell und Kontext in den Grafik- oder Hauptspeicher passen. Quantisierung macht das Modell kleiner, kostet aber Genauigkeit. Lokal passt das für sensible Daten und klar umrissene Aufgaben. Wo kleine Modelle scheitern, bleibt ein Cloud-Modell mit Auftragsverarbeitungsvertrag die Alternative.

Was heißt es, KI lokal zu betreiben?

Ein lokal betriebenes Sprachmodell besteht aus drei Teilen. Erstens aus den Modellgewichten: einer großen Datei, die man einmal herunterlädt. Zweitens aus einer Laufzeit. Sie lädt diese Gewichte in den Speicher und berechnet für jede Anfrage Wort für Wort die Antwort (die Inferenz). Drittens aus einer Oberfläche oder Schnittstelle, über die Menschen oder andere Programme Fragen stellen. Beim Chat mit einem Cloud-Dienst liegen alle drei Teile beim Anbieter. Wer KI lokal betreibt, holt sie auf einen eigenen Rechner oder einen Server, den das Unternehmen selbst verwaltet.

Trainiert wird dabei nichts. Das Modell bleibt so, wie es heruntergeladen wurde. Firmenwissen kommt über die Anfrage hinein: Man gibt dem Modell passende Auszüge aus Dokumenten mit. Das nennt sich Retrieval-Augmented Generation (RAG). Das ist wichtig für die Erwartung. Lokal heißt nicht, dass das Modell die eigenen Daten kennt. Es heißt nur, dass die Berechnung auf Hardware stattfindet, die man selbst kontrolliert. Wie es um die Daten dort steht, hängt dann vom eigenen Betrieb ab: von Zugriffsrechten, Updates, Protokollen und Backups.

Lokal, eigener Server oder Cloud: Welche Betriebsform passt?

Am Anfang steht nicht die Wahl des Werkzeugs, sondern die Frage, wo das Modell laufen soll. In der Praxis gibt es vier Betriebsformen. Sie unterscheiden sich darin, wer die Hardware trägt und wie viele Menschen gleichzeitig darauf zugreifen können.

Oft passt eine Mischung: lokale Modelle für Personaldaten oder Verträge, ein Cloud-Modell für allgemeine Recherche und Texte. Wie man Cloud-Werkzeuge nach Datenfluss und Vertrag einordnet, steht in unserem Überblick zur Auswahl von KI-Tools für Unternehmen.

Welche Software brauche ich, um KI lokal zu betreiben?

In den aktuellen Übersichten von t3n und ki-wissen.org, die Google beide im Suchergebnis zitiert, stehen zwei Werkzeuge vorn: Ollama und LM Studio. Beide laden Modelle herunter und führen sie aus. Sie richten sich aber an unterschiedliche Nutzer.

Für den Betrieb im Unternehmen reicht die Laufzeit allein nicht. Dazu gehören eine Oberfläche mit Anmeldung und Rollen, eine Dokumentensuche für RAG und eine Protokollierung, die festhält, wer was abgefragt hat. Diese Bausteine machen den eigentlichen Aufwand im Projekt aus, nicht die Installation des Modells.

Welche Hardware braucht lokale KI?

Die wichtigste Frage zur Hardware lautet: Passt das Modell vollständig in den Speicher, auf den der Grafikprozessor schnell zugreift? Gemeint ist der Grafikspeicher (VRAM) einer Grafikkarte oder der gemeinsame Speicher bei Rechnern mit Unified Memory. Wie viel Speicher ein Modell braucht, hängt an zwei Größen: an der Zahl seiner Parameter und an der Genauigkeit, mit der jeder Parameter gespeichert ist. Quantisierung senkt diese Genauigkeit, sodass jedes Gewicht mit weniger Bit auskommt. Dann passt das Modell auf kleinere Hardware. Die Antworten werden aber ungenauer, vor allem beim Rechnen, bei Logik und bei seltenen Fachbegriffen.

Neben dem Modell braucht auch der Kontext Speicher: alles, was in einer Anfrage mitgegeben wird, also Gesprächsverlauf und Auszüge aus Dokumenten. Lange PDFs im Kontext erhöhen den Bedarf, auch wenn das Modell selbst gleich bleibt. Passt beides nicht in den Grafikspeicher, lagert die Laufzeit Teile in den normalen Arbeitsspeicher aus und rechnet sie auf dem Prozessor. Technisch geht das. Die Antworten kommen dann aber so langsam, dass niemand im Alltag damit arbeitet. Und sobald mehrere Mitarbeiter gleichzeitig fragen, teilen sie sich dieselbe Rechenleistung.

Wo lokale KI an Grenzen stößt

• Qualitätslücke: Modelle, die auf bezahlbarer Hardware laufen, sind kleiner als die großen Cloud-Modelle. Das merkt man bei mehrstufigem Schlussfolgern, bei langen Verträgen und bei Werkzeugaufrufen, die zuverlässig klappen müssen. Deshalb vorher mit echten Fällen testen, nicht mit Demo-Fragen.
• Lizenz: Offene Modelle haben unterschiedliche Lizenzen, teils mit Bedingungen für die kommerzielle Nutzung. Das muss man für jedes Modell prüfen, bevor es in den Betrieb geht.
• Veraltete Modelle: Ein heruntergeladenes Modell aktualisiert sich nicht von selbst. Neue Versionen muss jemand auswählen, testen und einspielen.
• Betrieb ohne Zuständigkeit: Ein GPU-Server unter dem Schreibtisch ohne Updates, Backup und Zugriffskonzept bringt beim Datenschutz nichts. Er ist nur ein weiteres System, das niemand pflegt.
• Falsche Erwartung: Lokal heißt nicht, dass das Modell die Firmendaten kennt. Ohne Dokumentensuche und gepflegte Quellen erfindet es Antworten genauso wie jedes andere Modell.

Fallen bei einer Aufgabe ohnehin keine personenbezogenen oder vertraulichen Daten an, lohnt sich der lokale Betrieb meist nicht. Man trägt dann den Aufwand für Hardware und Pflege, ohne dass die Datenfrage ihn rechtfertigt. Weitere Beispiele, wo KI im Betrieb taugt und wo nicht, sammelt der Beitrag zu KI im Mittelstand mit Beispielen und Grenzen.

Was kostet es, KI lokal zu betreiben?

Einen seriösen Pauschalbetrag gibt es nicht, weil die Kosten an wenigen Stellschrauben hängen. Wer vergleicht, muss den lokalen Betrieb über die gesamte Nutzungsdauer gegen nutzungsabhängige Cloud-Gebühren rechnen, nicht nur die Anschaffung.

• Modellgröße und Genauigkeit: Sie bestimmen den nötigen Grafikspeicher und damit die Hardwareklasse.
• Gleichzeitige Nutzer: Mehr parallele Anfragen brauchen mehr Rechenleistung oder mehrere Grafikkarten.
• Betriebsform: eigene Hardware mit Strom und Ersatzteilen oder ein gemieteter Server mit laufender Gebühr.
• Schnittstellen: Anbindung an Dokumentenablage, CRM oder ERP, einschließlich der Prüfung von Rechten für jeden Nutzer.
• Daten: Aufbereitung der Dokumente für die Suche, also bereinigen, aufteilen und aktuell halten.
• Betrieb: Updates, Modellwechsel, Überwachung und ein Ansprechpartner, wenn etwas ausfällt.

Eine verbindliche Zahl entsteht erst, wenn Aufgabe, Nutzerzahl und Datenquellen feststehen. Außerdem muss ein Test mit echten Dokumenten gezeigt haben, welche Modellgröße reicht. Wie solche Kostentreiber bei Software allgemein wirken, zeigt der Artikel zu den Kosten für Softwareentwicklung.

KI-Agenten mit lokalen Modellen

Was ist ein KI-Agent?

Ein KI-Agent ist ein Sprachmodell, das nicht nur Text zurückgibt. Es entscheidet selbst, welche Werkzeuge es aufruft: zum Beispiel einen Kunden im CRM suchen, einen Termin anlegen oder eine E-Mail entwerfen. Diese Schritte wiederholt es, bis die Aufgabe erledigt ist. Ein Chatbot antwortet, ein Agent handelt in angebundenen Systemen.

Wie funktioniert ein KI-Agent?

Ein KI-Agent läuft in einer Schleife. Das Modell bekommt die Aufgabe und eine Liste verfügbarer Werkzeuge, jeweils mit Name, Beschreibung und Parametern als JSON-Schema. Es antwortet mit einem strukturierten Werkzeugaufruf. Das Programm führt ihn aus und gibt das Ergebnis zurück. Danach entscheidet das Modell über den nächsten Schritt. Ein Schleifenlimit begrenzt die Zahl der Durchläufe. Freigaben halten kritische Aktionen an, bis ein Mensch zustimmt. Lokal klappt das nur mit einem Modell, das Werkzeugaufrufe unterstützt. Kleine, stark quantisierte Modelle liefern dabei öfter fehlerhafte Parameter.

Beispiele für KI-Agenten im Unternehmen

• Posteingang: Der Agent liest eingehende Anfragen, ordnet sie einem Kunden im CRM zu und legt einen Antwortentwurf zur Freigabe an.
• Belegprüfung: Der Agent gleicht Rechnungsdaten mit der Bestellung ab und markiert Abweichungen, statt selbst zu buchen.
• Interne Wissenssuche: Der Agent sucht in Handbüchern und Protokollen, zitiert die Fundstelle und fragt nach, wenn nichts passt.
• Angebotsvorbereitung: Der Agent holt Artikel und Preise aus dem Warenwirtschaftssystem und baut einen Entwurf, den ein Mitarbeiter prüft.

Welche Werkzeuge und Freigabestufen solche Agenten in Vertrieb, Buchhaltung und Service brauchen, beschreibt der Beitrag mit KI-Agenten-Beispielen aus dem Mittelstand.

Ein KI-Agent-Beispiel mit lokalem Modell

Eine Personalabteilung will eingehende Bewerbungen sortieren lassen. Die Unterlagen enthalten personenbezogene Daten. Deshalb läuft das Modell über Ollama auf einem Server im eigenen Netz. Der Agent hat genau zwei Werkzeuge: eine Bewerbung lesen und eine Bewerbung einer Stelle zuordnen. Absagen verschicken kann er nicht. Die Entscheidung bleibt beim Menschen, der Agent bereitet nur vor. Weil Ollama eine OpenAI-kompatible Schnittstelle hat, lässt sich die Agentenlogik später auch mit einem anderen Modell betreiben.

KI-Agenten entwickeln: Worauf kommt es an?

Ein Agent entsteht Schritt für Schritt: einen eng umrissenen Ablauf wählen, die Werkzeuge mit klaren Schemas festlegen, Freigaben und Grenzen bestimmen und dann mit echten Fällen testen, auch mit fehlerhaften Eingaben. Wer lokal entwickelt, sollte denselben Testsatz gegen das lokale Modell und gegen ein Cloud-Modell laufen lassen. Erst dann weiß man, ob die Qualitätslücke für den Ablauf eine Rolle spielt. Die einzelnen Schritte erklärt der Artikel zum Thema KI-Agent erstellen.

Was gilt nach der KI-Verordnung, wenn KI lokal läuft?

Die KI-Verordnung der EU unterscheidet nicht danach, ob ein System in der Cloud oder im eigenen Keller läuft. Wer ein KI-System im Betrieb einsetzt, ist Betreiber. Nach Art. 4 in der aktuell geltenden, geänderten Fassung ergreifen Anbieter und Betreiber Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Das betrifft auch alle anderen Personen, die in ihrem Auftrag mit den Systemen arbeiten. Ein bestimmtes Kompetenzniveau müssen sie nicht garantieren. Die Hochrisiko-Vorschriften gelten für Systeme nach Anhang III ab dem 2. Dezember 2027. Darunter fallen bestimmte Anwendungen im Personalbereich. Ob ein konkreter Einsatz dazugehört, muss man im Einzelfall prüfen.

Wie DigifyNow lokale KI im Unternehmen einführt

DigifyNow aus Unnau im Westerwald fängt nicht mit der Hardware an, sondern mit dem Ablauf. Welche Aufgabe soll die KI übernehmen, welche Daten berührt sie, wer prüft das Ergebnis? Danach testen wir mit echten Dokumenten, ob ein lokales Modell reicht oder ob ein Cloud-Modell besser passt. Das Ergebnis kann auch sein, dass sich lokaler Betrieb für diesen Fall nicht lohnt. Zur KI-Beratung für Unternehmen gehören Schulung und Begleitung der Mitarbeiter, weil ein System ohne geübte Nutzer im Alltag nicht ankommt. Wer statt einer allgemeinen Chat-Oberfläche einen Assistenten für das eigene Firmenwissen braucht, findet den Ablauf auf der Seite zum KI-Assistenten für Unternehmen.

Wann sich Unterstützung lohnt

Für einen ersten Test auf einem einzelnen Rechner braucht niemand Hilfe von außen. Dafür sind Ollama und LM Studio gemacht. Unterstützung lohnt sich, sobald mehrere Mitarbeiter zugreifen sollen, interne Systeme angebunden werden oder ein Agent in Abläufe eingreift. Dann geht es um Rechte, Betrieb und Tests, nicht mehr um die Installation. Für das Gespräch hilft Folgendes: eine Beschreibung des Ablaufs, Beispieldokumente ohne Echtdaten, die Zahl der Nutzer und die Systeme, die angebunden werden sollen. Über das Kontaktformular für eine kostenlose Einschätzung Ihres Vorhabens schildern Sie den Fall. Wir sagen Ihnen dann, ob sich lokaler Betrieb dafür eignet.

Kostenlose Einschätzung für Ihr Projekt anfragen