Wenn erfahrene Mitarbeitende ein Unternehmen verlassen, geht oft Wissen verloren, das nirgends aufgeschrieben ist. Gerade in kleinen und mittleren Unternehmen (KMU) bleibt dafür im Tagesgeschäft selten Zeit. Dabei lässt sich Wissen auch sichern, ohne es vorher vollständig zu dokumentieren: Ein KI-Agent startet mit dem bereits Vorhandenen und lernt im Arbeitsalltag dazu. In diesem Gastbeitrag zeigt Leon Rocca von AlgebraX, wie er gemeinsam mit etg24 einen solchen Agenten im Kundenservice umgesetzt hat.
Seit rund fünf Jahren betreuen dieselben Mitarbeiterinnen den Kundenservice von etg24, einem Anbieter einer Cloud-Plattform für die digitale Immobilienverwaltung. Sie kennen das Produkt in- und auswendig. Abrufbar dokumentiert ist davon jedoch nur ein Teil. Nun will das Unternehmen schneller wachsen: Es gehen mehr Kundenanfragen ein, und die beiden festangestellten Mitarbeiterinnen müssen neue Mitarbeitende einlernen und gleichzeitig mehr Anfragen beantworten. Zeit, das Wissen zuerst vollständig zu dokumentieren, bleibt dafür nicht. Deshalb haben wir gemeinsam mit etg24 und dem IDEV Institut der Hochschule Karlsruhe einen anderen Weg eingeschlagen.
Das Problem: Wissen steckt in Köpfen, nicht in Dokumenten
Der demografische Wandel macht Wissensverlust zu einem wachsenden Risiko. Laut Mittelfristprognose des Bundesministeriums für Arbeit und Soziales sinkt die Zahl der Personen im erwerbsfähigen Alter bis 2029 um rund 1,9 Millionen. Zugleich ist Erfahrungswissen selten aufgeschrieben: Nach Befunden aus der Wissensmanagement-Forschung liegen nur etwa 20 Prozent des relevanten Unternehmenswissens dokumentiert vor. Rund 80 Prozent sind Erfahrungswissen einzelner Personen.
In vielen KMU hängt dieses Wissen an einzelnen Personen, die genau wissen, wie das Produkt im Detail funktioniert oder welche Lösung zu welchem Kundenproblem passt. Wechselt eine von ihnen das Unternehmen oder geht in Rente, fehlt meist die Zeit für eine ausreichende Übergabe. Bei etg24 sollte deshalb ein KI-Agent die Mitarbeiterinnen im Kundenservice bei ihrer täglichen Arbeit unterstützen und dabei ihr Erfahrungswissen nach und nach nutzbar machen.
Der Ansatz: unvollständig starten, im Alltag lernen
Der übliche Weg wäre, das Erfahrungswissen zuerst vollständig zu dokumentieren und danach einen KI-Agenten darauf aufzusetzen. Wir haben uns bewusst anders entschieden: Der Agent startete mit dem Wissen, das im Unternehmen schon vorhanden war, und sollte neues Wissen im Alltag dazulernen.
Vorhanden waren unter anderem ein bestehendes Nutzerhandbuch und 412 abgeschlossene Kundenkommunikationen, in denen jeweils die Anfrage der Kunden und die Lösung der Mitarbeiterinnen standen. Sie bildeten die Wissensbasis des Agenten. Er sollte vom ersten Tag an bei etwa 70 bis 80 Prozent der Anfragen brauchbar helfen und die übrigen Fälle mit der Zeit dazulernen, ohne dass die Mitarbeitenden dafür zusätzlichen Aufwand haben.
Der Agent selbst arbeitet wie ein digitaler Mitarbeiter im E-Mail-Postfach des Kundenservice. Eine Anfrage durchläuft dabei vier Schritte:
Technisch besteht der Agent aus der Low-Code-Plattform n8n, dem Sprachmodell Gemini und einer Vektordatenbank, in der er nach inhaltlich passenden Textstellen sucht. Mit n8n lassen sich solche Abläufe ohne aufwendige Programmierung bauen. Die Datenbank mit dem Wissen liegt DSGVO-konform auf Servern in Deutschland.
Ein KI-Agent beantwortet nie 100 Prozent der Anfragen fehlerfrei. Wenn jedoch klar ist, welches Problem er lösen soll, kann ein Start mit 70 Prozent brauchbarer Antworten zunächst ausreichen, um die Arbeit der Mitarbeitenden spürbar zu erleichtern.
Die Ergebnisse: was die Tests zeigen
Wir haben den Agenten in zwei Tests geprüft: in einem Qualitätstest mit neuen Kundenanfragen und in einem Livetest mit einer Mitarbeiterin.
Für den Qualitätstest haben wir dem Agenten 33 neue Kundenanfragen vorgelegt, die noch nicht in seiner Wissensbasis enthalten waren. Sie waren in den zwei bis drei Wochen zwischen dem ersten Einlernen und dem Test eingegangen. Die Antworten hat ein zweites KI-Sprachmodell als Prüfer bewertet („LLM-as-a-Judge“), und zwar nach dem Messverfahren RAGAS.
Die Bewertung erfolgte auf einer Skala von 0 bis 1. Der Agent erreichte Werte zwischen 0,67 und 0,74. Geprüft wurde, ob die Antworten durch die Quellen gedeckt sind, ob die Suche die passenden Informationen findet und ob die Antwort die Frage direkt beantwortet. Das sind Qualitätsmaße und keine Trefferquoten: 0,74 bedeutet nicht, dass 74 Prozent der Antworten richtig sind. Für den Start mit einer unvollständigen Wissensbasis halten wir die Werte für tragfähig.
Im zweiten Test, dem Livetest, bewertete eine Mitarbeiterin von etg24 die Antwortvorschläge des Agenten zu sieben echten Kundenanfragen, darunter Standardfälle, eine eskalierte Anfrage und eine Anfrage bei einer vorübergehenden Funktionsstörung. Die Vorschläge hielt sie durchweg für grundsätzlich brauchbar. Wo sie abwichen, lag das aus ihrer Sicht an der noch unvollständigen Wissensbasis.
Am deutlichsten wurde der Lerneffekt bei der Störung. Eine Funktion war vorübergehend nicht verfügbar, mehrere Anfragen meldeten dasselbe Problem. Der erste Vorschlag des Agenten berücksichtigte das noch nicht. Die Mitarbeiterin schickte ihre eigene Antwort. Bei der nächsten ähnlichen Anfrage passte der KI-Agent seinen Vorschlag erkennbar an. Das zeigt, dass er schon nach einer einzigen Rückmeldung dazulernt.
Die Einordnung: was die Ergebnisse tragen und was offen bleibt
Beide Tests sprechen dafür, dass sich Erfahrungswissen sichern lässt, ohne vorher alles zu dokumentieren: Der Agent liefert mit unvollständigem Wissen brauchbare Vorschläge und lernt aus den versendeten Antworten dazu. Das sind jedoch Hinweise und noch keine abgesicherten Nachweise. Es sind Ergebnisse einer ersten, begrenzten Erprobung in einem Unternehmen. Ein längerer Einsatz steht noch aus.
Offen ist, ob 70 Prozent brauchbare Vorschläge im Alltag genügen, wie viele Rückmeldungen für eine messbare Verbesserung nötig sind und ob das Vertrauen der Mitarbeitenden über Monate hält. Das zeigt sich erst bei längerer Nutzung. Dennoch können die Ergebnisse anderen KMU als Orientierung dienen, in denen der Kundenservice überwiegend per E-Mail läuft, das Wissen in den Köpfen der Mitarbeitenden steckt und für aufwendige IT-Projekte Zeit und Personal fehlen. Wissen zu sichern muss also nicht mit einer umfassenden Dokumentation beginnen, sondern kann mit einem Werkzeug starten, das den Mitarbeitenden unmittelbar nach der Einführung Arbeit abnimmt.
Über den Autor
Leon Rocca ist AI Solution Consultant und COO/CFO bei AlgebraX. Er studierte International Management (B.A.) und Technology Entrepreneurship (M.A.) an der Hochschule Karlsruhe mit Schwerpunkt auf KI-Agentensystemen.
Über das Projekt
Das Projekt zur KI-Agenten-gestützten Wissenskonservierung im KMU-Kundenservice entstand in Zusammenarbeit von etg24, dem IDEV Institut der Hochschule Karlsruhe und AlgebraX. Die Ergebnisse sind als Short Paper erschienen: „KI-Agenten-gestützte Wissenskonservierung im KMU-Kundenservice: Ein RAG-basierter Ansatz bei unvollständiger Wissensbasis“ (Leon Rocca, Johannes Penka, Prof. Dr. Carsten Hahn, Johannes Lauer).