KI-Chatbot: Funktionsweise, Grenzen, Agenten
· DigifyNow
Ein KI-Chatbot ist ein Programm, das Fragen in freier Sprache mit einem großen Sprachmodell beantwortet. Bei jeder Nachricht schickt die Software eine feste Anweisung (Systemprompt), den Gesprächsverlauf und passende Abschnitte aus Ihren Dokumenten an das Modell. Das Modell erzeugt daraus die wahrscheinlichste Antwort. Was in diesen Quellen nicht steht, weiß es nicht. Deshalb pflegen Sie die Wissensquelle, begrenzen die Themen und legen fest, wann ein Mensch übernimmt.
Was ist ein KI-Chatbot?
Ein KI-Chatbot ist ein Programm, das Fragen in freier Sprache versteht und mit einem großen Sprachmodell eigene Antworten formuliert. Eine feste Antwortliste wie ein regelbasierter Bot hat er nicht. Er berechnet jede Antwort neu, und zwar aus seiner Anweisung, dem bisherigen Gesprächsverlauf und den Dokumenten, die man ihm mitgibt. Deshalb kommt er mit Tippfehlern und ungewohnten Formulierungen zurecht. Falsches kann er aber genauso flüssig formulieren wie Richtiges.
Den Kern bildet ein großes Sprachmodell (Large Language Model, LLM), etwa aus der GPT-Familie von OpenAI, Claude von Anthropic oder Gemini von Google. Ältere Chatbots arbeiteten mit Regeln: Kam das Stichwort „Öffnungszeiten“ vor, gab es die hinterlegte Antwort dazu. Bei einem Tippfehler oder einer ungewohnten Formulierung kam dann gar nichts. Ein KI-Chatbot hat keine feste Antwortliste, er formuliert jede Antwort neu.
Ein Beispiel: Ein Handwerksbetrieb stellt einen KI-Chatbot auf seine Website. Ein Kunde schreibt: „Macht ihr auch Dachfenster in Hachenburg, und wie lange muss ich warten?“ In der hinterlegten Leistungsbeschreibung findet der Bot den Einbau von Dachfenstern, im Einsatzgebiet den Ort. Zur Wartezeit gibt es keine Angabe, also sollte er auf die Terminanfrage verweisen. Genau dieser letzte Punkt passiert nicht von selbst. Man muss ihn ausdrücklich festlegen, sonst erfindet das Modell gern eine plausibel klingende Frist.

Wie funktioniert ein KI-Chatbot technisch?
Hinter jeder Antwort steckt derselbe Ablauf. Das Sprachmodell selbst merkt sich zwischen zwei Anfragen nichts, deshalb baut die Chatbot-Software bei jeder Nachricht das komplette Paket neu zusammen:
- Eingabe: Der Nutzer schreibt eine Nachricht, im Webchat, in einer App oder in einem Messenger.
- Systemprompt: Die Software stellt eine feste Anweisung voran, die der Nutzer nicht sieht. Sie legt Rolle, Tonfall, erlaubte Themen und Regeln fest, zum Beispiel: keine Preise nennen, bei Beschwerden an den Service übergeben.
- Wissenssuche (Retrieval Augmented Generation, kurz RAG): Ihre Dokumente sind vorab in Abschnitte zerlegt und als Zahlenvektoren gespeichert. Das System sucht die Abschnitte, die der Frage inhaltlich am nächsten liegen, und legt sie der Anfrage bei.
- Verlauf: Die bisherigen Nachrichten des Gesprächs kommen mit dazu. Wie viel Text insgesamt hineinpasst, begrenzt das Kontextfenster des jeweiligen Modells.
- Generierung: Das Modell berechnet Token für Token die wahrscheinlichste Fortsetzung. So entsteht die Antwort.
- Optional, Werkzeugaufruf: Darf der Bot Aktionen ausführen, liefert das Modell statt Text einen strukturierten Aufruf, etwa „Termin im Kalender prüfen“. Die Software führt ihn aus und gibt das Ergebnis an das Modell zurück.
Wie Werkzeugaufrufe im Detail laufen, beschreiben die Anbieter in ihrer Entwicklerdokumentation, etwa OpenAI unter developers.openai.com und Anthropic unter docs.claude.com. Für den Entscheider zählt eins: Jeder angehängte Dokumentabschnitt und jede Gesprächsrunde kostet Rechenzeit. Lange Verläufe machen den Bot langsamer und teurer.
Wofür setzen kleine Unternehmen einen KI-Chatbot ein?
Diese Beispiele kommen aus Situationen, wie wir sie bei DigifyNow in Gesprächen mit Betrieben im Westerwald, um Koblenz und im Siegerland erleben. Bei jedem steht dabei, was der Bot braucht und wo er aufhören muss:
- Website-FAQ eines Handwerksbetriebs: Er beantwortet Fragen zu Leistungen, Einsatzgebiet und Ablauf aus einer gepflegten Leistungsbeschreibung. Termine und Preise nennt er nicht, sondern verweist auf das Anfrageformular.
- Interner Assistent in der Fertigung: Monteure fragen per Smartphone nach Anzugsmomenten oder Arbeitsschritten aus den Montageanleitungen. Er muss das Quelldokument mit Seitenangabe nennen, denn eine erfundene Zahl wäre hier ein Sicherheitsrisiko.
- Bestellstatus im Onlineshop: Der Bot fragt über die Shop-Schnittstelle den Status zur Bestellnummer ab. Er darf nur lesen. Stornieren und erstatten bleiben beim Menschen.
- Bewerberfragen: Er beantwortet Fragen zu ausgeschriebenen Stellen, Arbeitszeiten und Ablauf der Bewerbung aus den Stellentexten. Über einzelne Bewerber oder Gehälter gibt er nichts aus.
- Wo er nicht frei formulieren sollte: bei Allergenen, Gewährleistung oder Vertragsfragen. Hier gehört eine fest hinterlegte, geprüfte Antwort hin oder gleich die Übergabe an einen Menschen.
Welche Wege es neben dem Chatbot gibt, etwa Anfragen automatisch sortieren oder Tickets vorbelegen, vergleicht der Beitrag Kundenservice automatisieren: Wege und Grenzen.
Was ein KI-Chatbot nicht kann – und warum
Die meisten Probleme mit KI-Chatbots folgen direkt aus der Funktionsweise. Wer die Ursache kennt, kann sie eingrenzen. Ganz abschalten lässt sie sich nicht.
- Erfundene Antworten (Halluzinationen): Das Modell erzeugt wahrscheinliche Sätze, keine geprüften Fakten. Findet die Wissenssuche nichts Passendes, antwortet es trotzdem flüssig. Abhilfe schafft eine Regel im Systemprompt („nur aus den beigefügten Quellen antworten, sonst übergeben“) plus Stichprobentests. Eine Garantie ist das nicht.
- Veraltetes Wissen: Der Bot ist nur so aktuell wie die hinterlegten Dokumente. Ändert sich eine Preisliste und niemand tauscht die Datei aus, zitiert er weiter die alte Fassung.
- Falscher Abschnitt gefunden: Steht dieselbe Information in mehreren Dokumenten verschieden, holt die Suche womöglich die falsche Version. Doppelte und widersprüchliche Quellen räumt man vor dem Start auf.
- Manipulation über die Eingabe (Prompt Injection): Nutzer oder eingelesene Texte können Anweisungen enthalten wie „ignoriere deine Regeln“. Ein Systemprompt ist kein Schloss. Was der Bot auf keinen Fall darf, muss technisch gesperrt sein, nicht nur im Text verboten.
- Kein Ende im Gespräch: Ohne festgelegte Übergabe an einen Menschen dreht sich der Kunde im Kreis. Gerade bei Reklamationen führt das zu Ärger.
Wie verlässlich selbst große öffentliche Dienste sind, zeigt ein Test, über den im Januar 2026 unter dem Titel „KI-Chatbots im Test“ berichtet wurde (Stand: Januar 2026): Das beste Ergebnis lag dort bei 72 Prozent richtiger Antworten (Perplexity), Googles KI-Zusammenfassungen kamen auf 70 Prozent. Für einen Unternehmens-Chatbot heißt das: Die Antworten müssen nachprüfbar sein, am besten mit Angabe der Quelle, aus der sie stammen.

KI-Chatbot, KI-Assistent, KI-Agent: Was ist der Unterschied?
Die drei Begriffe werden oft durcheinander benutzt. Der Unterschied liegt darin, ob das System nur antwortet oder auch selbst handelt.
| Merkmal | KI-Chatbot | KI-Assistent | KI-Agent |
|---|---|---|---|
| Hauptaufgabe | Fragen im Dialog beantworten | Mitarbeiter bei Aufgaben unterstützen, etwa Texte entwerfen oder Wissen nachschlagen | Ein Ziel in mehreren Schritten selbst abarbeiten |
| Typischer Nutzer | Kunden, Website-Besucher | Eigene Mitarbeiter | Läuft oft ohne Gesprächspartner, ausgelöst durch ein Ereignis |
| Handelt selbst? | Nein oder nur einzelne Aktionen | Auf Anweisung, einzelne Aktionen | Ja, wählt die Werkzeuge und die Reihenfolge selbst |
| Typischer Fehler | Erfindet eine Antwort | Wird mit vertraulichen Daten gefüttert, die nicht hineingehören | Schleift in Wiederholungen oder führt eine falsche Aktion aus |
Wie funktioniert ein KI-Agent?
Ein KI-Agent arbeitet in einer Schleife. Er bekommt ein Ziel, etwa „prüfe die neue Anfrage und lege einen Vorgang an“. Das Modell entscheidet, welches Werkzeug es zuerst aufruft, zum Beispiel die Kundensuche im CRM. Die Software führt den Aufruf aus und gibt das Ergebnis zurück. Dann entscheidet das Modell über den nächsten Schritt, so lange, bis das Ziel erreicht ist oder eine Grenze greift. Diese Grenzen gehören zum Aufbau dazu: eine Höchstzahl an Schritten, nur freigegebene Werkzeuge, nur lesender Zugriff, wo Schreiben nicht nötig ist, und eine Freigabe durch einen Menschen vor allem, was nach außen geht oder Geld bewegt. Fehlen diese Grenzen, verbraucht ein Agent bei einer unlösbaren Aufgabe Runde um Runde Rechenzeit. Wie man einen Agenten Schritt für Schritt aufsetzt, steht im Beitrag KI-Agent erstellen: Schritte, Grenzen, Fehler.
Beispiele für KI-Agenten
Typische Einsatzfelder im Mittelstand sind Abläufe mit klarem Ziel, wiederkehrenden Daten und einer Stelle, an der ein Mensch freigibt:
- Anfragen sortieren: Der Agent liest eingehende E-Mails, ordnet sie nach Thema, sucht den Kunden im CRM und legt einen Vorgang mit Zusammenfassung an.
- Angebotsentwurf: Aus Anfrage, Artikelstamm und früheren Angeboten entsteht ein Entwurf, den der Vertrieb prüft und verschickt.
- Rechnungseingang vorprüfen: Der Agent gleicht Rechnungsbetrag und Positionen mit der Bestellung ab und markiert Abweichungen für die Buchhaltung.
- Recherche: Der Agent sammelt öffentliche Angaben zu einem Interessenten und legt sie als Notiz ab.
Wo Agenten im KMU tragen und wo sie an unsauberen Daten scheitern, zeigt der Beitrag KI-Agenten Beispiele: Was im KMU funktioniert. Nicht lohnend ist ein Agent, wo ein fester Ablauf ohne Entscheidung genügt. Dann reicht eine klassische Automatisierung, und die ist billiger und vorhersehbarer.
KI-Assistent im Unternehmen: Was braucht man dafür?
Ein KI-Assistent im Unternehmen ist meist ein interner KI-Chatbot, der auf Ihr eigenes Wissen zugreift: Handbücher, Prozessbeschreibungen, Produktdaten, Vorlagen. Bevor man ein Werkzeug auswählt, sollten diese Punkte geklärt sein:
- Aufgabe: Welche wenigen, klar umrissenen Fragen oder Tätigkeiten soll der Assistent übernehmen? „Alles“ lässt sich nicht testen.
- Wissensquelle: Welche Dokumente gelten als maßgeblich, wer pflegt sie, und wo liegen Dubletten?
- Zugriffsrechte: Darf jeder Mitarbeiter alles sehen, was der Assistent findet? Liest der Assistent ein Laufwerk ohne Rechteprüfung ein, kann er Gehaltslisten genauso zitieren wie das Handbuch.
- Datenfluss: Wohin gehen die Eingaben, bei welchem Anbieter, mit welchem Vertrag zur Auftragsverarbeitung? Ob das für Ihren Fall reicht, klären Sie mit Ihrem Datenschutzbeauftragten.
- Schulung: Die KI-Verordnung der EU sieht vor, dass Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um die KI-Kompetenz ihres Personals zu unterstützen. Ein bestimmtes Kompetenzniveau müssen sie dabei nicht garantieren; gemeint sind Schulung und Anleitung.
- Kennzeichnung nach außen: Die KI-Verordnung enthält außerdem Transparenzpflichten, etwa dass Menschen erfahren, wenn sie mit einem KI-System sprechen. Welche Pflicht Sie konkret trifft, hängt von Ihrer Rolle als Anbieter oder Betreiber ab.
Den Verordnungstext finden Sie im Amtsblatt der EU. DigifyNow richtet solche Assistenten ein: Wissensquellen anbinden, Rechte und Grenzen festlegen, Mitarbeiter schulen. Wie das abläuft, steht auf der Seite zum KI-Assistenten für Unternehmen, die Einführung Schritt für Schritt im Beitrag KI-Assistent für Unternehmen einführen.

Welche Werkzeuge gibt es für einen KI-Chatbot?
Welches Werkzeug passt, hängt daran, wer den Bot nutzt und woher er sein Wissen bezieht. Die folgenden Wege werden nach denselben Fragen verglichen. Tarife und Funktionen ändern sich oft, deshalb gilt für Details die Dokumentation des jeweiligen Anbieters.
| Weg | Beispiele | Eignet sich für | Wo er aufhört |
|---|---|---|---|
| Allgemeiner Chat-Dienst im Browser | ChatGPT, Claude, Microsoft Copilot, Google Gemini | Mitarbeiter, die Texte entwerfen, zusammenfassen oder recherchieren | Kein Kunden-Chat auf der eigenen Website; Anbindung eigener Daten je nach Tarif begrenzt |
| Workflow-Werkzeug mit KI-Bausteinen | n8n, Zapier | Abläufe, in denen ein Modell einen Schritt übernimmt, etwa E-Mails einordnen | Gesprächsführung und Oberfläche muss man selbst bauen; komplexe Abläufe werden unübersichtlich |
| Chatbot-Funktion in Helpdesk- oder Messaging-Software | Bot-Module gängiger Kundenservice-Systeme | Kundenanfragen dort, wo das Ticket ohnehin landet | An Datenmodell und Kanäle dieses Systems gebunden |
| Eigene Anbindung über die Modell-API | APIs von OpenAI, Anthropic, Google | Eigene Oberfläche, eigene Datenquellen, feste Regeln und Rechte | Entwicklungsaufwand und laufender Betrieb liegen bei Ihnen oder Ihrem Dienstleister |
n8n kann man laut seiner Dokumentation auch selbst betreiben, die Daten laufen dann über den eigenen Server. Wer das Modell selbst nicht in die Cloud geben will, findet die Optionen im Beitrag KI lokal betreiben: Optionen, Hardware, Grenzen. Eine breitere Auswahl mit Datenfluss und Schnittstellen vergleicht KI-Tools für Unternehmen: Auswahl und Grenzen.
Was sind KI Ads?
Mit KI Ads sind Werbeanzeigen gemeint, bei denen künstliche Intelligenz Texte, Bilder oder Videos erzeugt oder die Ausspielung steuert. Das ist ein anderes Feld als der Chatbot, auch wenn oft dieselben Sprachmodelle dahinterstehen. Zwei Ebenen muss man auseinanderhalten: Die Erstellung von Varianten übernimmt ein Generator. Wem eine Anzeige gezeigt wird und zu welchem Preis, entscheiden dagegen Google Ads oder Meta mit ihren eigenen Systemen, nicht der Generator. Erzeugte Bilder können Fehler enthalten, etwa falsche Produktdetails oder unlesbare Schrift. Jede Variante braucht deshalb vor dem Schalten eine Sichtprüfung. Wie KI bei Kampagnen auf Google und Meta konkret hilft, steht im Beitrag Google- und Meta-Ads mit KI optimieren.
AI Ad Studio – ein Produkt von DigifyNow
AI Ad Studio ist ein Produkt von DigifyNow zum Erstellen von Werbemitteln mit KI. Es erzeugt Anzeigenmaterial aus Vorgaben, die Sie machen. Die Auswahl, Prüfung und Freigabe der Varianten bleibt bei Ihnen. Über die Leistungen von DigifyNow im Marketing informiert die Seite Marketing und Automatisierung.

Was kostet ein KI-Chatbot?
Einen seriösen Pauschalpreis gibt es nicht, weil die Kosten an wenigen Stellschrauben hängen. Zuerst der Umfang: Ein Bot, der eine Handvoll Standardfragen beantwortet, ist etwas anderes als einer, der Termine bucht. Dann die Schnittstellen, denn jede Anbindung an CRM, Kalender oder Warenwirtschaft muss gebaut und getestet werden. Bei den Daten zählt der Zustand der Wissensquelle: Verstreute, doppelte Dokumente aufzuräumen ist oft mehr Arbeit als die Technik. Im Betrieb wird das Modell je Nutzer im Abo oder nach verarbeiteten Tokens abgerechnet, dazu kommen Hosting, Pflege und Auswertung der Gespräche. Lange Verläufe und viele angehängte Dokumentabschnitte erhöhen den Tokenverbrauch je Antwort. Eine verbindliche Zahl entsteht erst, wenn Aufgabe, Datenquellen und Schnittstellen beschrieben sind. Die Abrechnungsmodelle im Detail erklärt der Beitrag KI Kosten: Abo, Tokens, Agenten und Betrieb.
Wann sich Unterstützung lohnt
Einen allgemeinen Chat-Dienst für einzelne Mitarbeiter können Sie ohne fremde Hilfe einführen. Unterstützung lohnt sich, wenn der Bot auf eigene Daten mit unterschiedlichen Zugriffsrechten zugreifen soll, an CRM oder Kalender angebunden werden muss, nach außen mit Kunden spricht oder als Agent Aktionen ausführt. Halten Sie dafür bereit: die wichtigsten Aufgaben, eine Liste der Wissensquellen, die beteiligten Systeme und die Stelle, an der ein Mensch übernehmen soll. Mit diesen Angaben können Sie bei DigifyNow eine kostenlose, unverbindliche Einschätzung Ihres Vorhabens anfragen. Dort klären wir, welcher Weg passt und ob sich ein eigener Chatbot überhaupt lohnt.

Häufige Fragen
Was ist ein KI-Chatbot einfach erklärt?
Ein KI-Chatbot ist ein Programm, das Fragen in freier Sprache mit einem großen Sprachmodell beantwortet. Anders als ein regelbasierter Bot mit fester Antwortliste formuliert er jede Antwort neu. Grundlage sind eine versteckte Anweisung, der Gesprächsverlauf und angehängte Dokumentabschnitte. Was in keiner dieser Quellen und nicht im Training steckt, kennt er nicht. Füllt er so eine Lücke trotzdem, nennt man das Halluzination.
Ist ChatGPT ein KI-Chatbot, und welche gibt es noch?
Ja. ChatGPT von OpenAI ist ein KI-Chatbot auf Basis der GPT-Modelle. Vergleichbare allgemeine Dienste sind Claude von Anthropic, Microsoft Copilot und Google Gemini. Ihre Preise und Abläufe kennen sie von Haus aus nicht. Sie antworten aus dem Trainingswissen und aus dem, was Sie eingeben oder hochladen. Für den Kunden-Chat auf der eigenen Website braucht man eine Anbindung über die API oder ein Chatbot-Werkzeug.
Was ist der Unterschied zwischen regelbasiertem und KI-Chatbot?
Ein regelbasierter Chatbot erkennt festgelegte Stichworte oder Buttons und gibt dazu vorformulierte Antworten aus. Bei unbekannter Formulierung scheitert er. Ein KI-Chatbot versteht freie Sprache und formuliert jede Antwort neu, kann dafür aber auch falsche Angaben erfinden. Regelbasierte Bots sind vorhersehbar, KI-Chatbots flexibler. In der Praxis kombiniert man oft beides.
Kann ein KI-Chatbot auf meine eigenen Dokumente zugreifen?
Ja, meist über Retrieval Augmented Generation (RAG). Die Dokumente werden in Abschnitte zerlegt und durchsuchbar gespeichert. Zu jeder Frage holt das System die passendsten Abschnitte und gibt sie dem Modell mit. Die Antwortqualität hängt deshalb direkt davon ab, ob die Dokumente aktuell, eindeutig und frei von widersprüchlichen Fassungen sind.
Muss ein KI-Chatbot als KI gekennzeichnet sein?
Die KI-Verordnung der EU enthält Transparenzpflichten, darunter die Information, dass man mit einem KI-System interagiert und nicht mit einem Menschen. Welche Pflicht Sie konkret trifft, hängt davon ab, ob Sie Anbieter oder Betreiber sind und wie der Bot eingesetzt wird. Das klären Sie im Einzelfall rechtlich. Technisch ist ein Hinweis im Chatfenster leicht umzusetzen, etwa als feste Zeile über dem Eingabefeld.