Während die Veränderung durch KI wie eine Welle Fahrt aufnimmt, stehen viele KMU und Verwaltungen noch unentschlossen am Strand. Jürgen Weber, Gründer der weber.cloud aus Balingen und Aufsichtsratsmitglied der KI-Allianz Baden-Württemberg, erlebt das täglich in Kundengesprächen. Wir haben mit ihm darüber gesprochen, woran echte KI-Projekte scheitern, was ein erster sinnvoller Schritt wirklich bewirkt und warum kostenlose Credits oft das teuerste Angebot sind.
Jürgen Weber im Interview:
Herr Weber, Sie sagen, der deutsche Mittelstand hat den Wandel durch KI noch gar nicht richtig wahrgenommen. Wie meinen Sie das?
Stellen Sie sich einen Tsunami vor. Erst ist das Meer ganz ruhig, es zieht sich sogar etwas zurück. Alles wirkt normal. Und dann kommt die Welle, in einem Tempo, bei dem man nicht mehr in Sicherheit kommt, wenn man zu lange gewartet hat. Ich weiß, das Bild ist hart. Aber genau dieses Tempo erleben wir gerade mit KI. Die meisten Unternehmen nehmen die Welle noch gar nicht wahr. Wer in zwei oder drei Jahren keine KI-Strategie und umfassende KI-basierte Automatisierung hat, wird in vielen Branchen einfach nicht mehr existieren. Das mag dramatisch klingen. Aber ich erlebe in Kundengesprächen jeden Tag, wie weit wir hier hinterher sind.
Wo steht der deutsche Mittelstand denn aktuell wirklich?
Wir sehen drei Muster. Einige Unternehmen tun gar nichts. Andere haben einzelne Mitarbeitende, die längst ChatGPT oder Claude nutzen, aber unkontrolliert, oft an der IT vorbei, mit Firmendaten in fremden Systemen. Und dann gibt es eine kleine Gruppe, die strukturiert vorgeht. Diese dritte Gruppe ist deutlich kleiner als sie sein müsste. Eine aktuelle Studie zeigt: 74 Prozent der mittelständischen Unternehmen stehen bei KI noch ganz am Anfang. Bei Unternehmen mit 20 bis 99 Beschäftigten stellt nur knapp jedes vierte den Mitarbeitenden offiziell KI-Tools zur Verfügung.
Das klingt nach einem Riesenpotenzial für Schatten-KI, also für KI-Nutzung, die offiziell gar nicht stattfindet.
Genau das passiert auch. Der Bitkom hat 2025 erhoben: In acht Prozent der deutschen Unternehmen ist die Nutzung privater KI-Tools im Job weit verbreitet, in weiteren 17 Prozent gibt es Einzelfälle (Quelle: Bitkom Research, repräsentative Befragung von 604 Unternehmen ab 20 Beschäftigten, Oktober 2025 – bitkom.org). Die Quote der Beschäftigten, die KI heimlich nutzen, hat sich innerhalb eines Jahres verdoppelt. Das ist verständlich. Die Tools sind verfügbar, sie helfen sofort, niemand fragt erst um Erlaubnis. Aber genau hier landen Firmendaten in Systemen, über die das Unternehmen keine Kontrolle hat. Das ist keine theoretische Gefahr, das ist Alltag.
Was raten Sie Unternehmen, die diesen Zustand auflösen wollen? Wo fängt man an?
Der erste sinnvolle Schritt ist fast immer derselbe: ein Chatbot mit Firmenwissen. Das klingt nach altem Schinken, ist aber unglaublich wirkungsvoll. Sie nehmen alles, was Ihr Unternehmen weiß, also QM-Handbuch, Bedienungsanleitungen, Konstruktionsinformationen, Geschäftsdaten, und füttern damit ein KI-Modell. Dann können Sie Fragen zu Ihrem eigenen Unternehmen stellen, mit Quellenangabe, damit jede Antwort nachprüfbar ist. Wir machen das oft als Proof of Concept. Den Kunden fällt die Kinnlade runter, wenn sie das erste Mal sehen, was geht.
Warum funktioniert ausgerechnet dieser einfache Use Case so gut?
Weil KI ihren Wert erst entfaltet, wenn das Unternehmen alle kritischen Daten reinwirft, nicht nur einzelne Dokumente oder Texte. Geschäftsdaten, Patente, Wissensdatenbanken, alles. Erst dann wird das System wirklich nützlich. Und genau deshalb ist die Frage, wo dieser Chatbot läuft, so entscheidend. In einer US-Cloud mit Datenzugriff durch die amerikanischen Behörden dank dem CLOUD Act will man diese Daten nicht haben. In einer 100% souveränen deutschen Umgebung schon.
Sie sprechen von datenschutzkonformen Pilotprojekten. Was passiert, wenn man diesen Punkt unterschätzt?
Dann passiert genau das, was wir aktuell oft sehen. Ein Unternehmen startet ein KI-Projekt, vielleicht sogar erfolgreich, und irgendwann kommt der Datenschutz-Hammer. Das Projekt wird abgeschaltet. Damit ist nicht nur das einzelne Projekt tot, auch die interne Akzeptanz für weitere KI-Initiativen ist erstmal beschädigt. Das wirft Unternehmen oft ein Jahr zurück. Deshalb mein Rat: Awareness schaffen, Strategie entwickeln, dann erst starten. Und dann von Anfang an datenschutzkonform bei einem deutschen Unternehmen ohne amerikanische Muttergesellschaft.
Viele US-Anbieter machen sehr attraktive Einstiegsangebote. Kostenlose Credits, niedrige Token-Preise. Warum sind Sie da skeptisch?
Weil das eine bewährte Strategie ist und nichts mit Wohltätigkeit zu tun hat. Sie kennen das Muster aus anderen Bereichen der Cloud-Welt: günstig anfixen, tief integrieren, dann die Preisschraube anziehen. Genau das passiert gerade mit KI. Jensen Huang hat es auf der Nvidia-GTC 2026 selbst ausgesprochen. Die neuen High-Speed-Modelle sollen 45 Dollar pro Million Tokens kosten, die Premium-Stufen 150 Dollar. Aktuell zahlen Sie für vergleichbare Modelle einen Bruchteil davon. Wer heute sein gesamtes Geschäftsmodell auf diese Tools aufbaut, wird in 1-2 Jahren teuer dafür bezahlen.
Was ist Ihre Empfehlung für die ersten Wochen? Was sollten Mittelständler:innen jetzt konkret tun?
Drei Dinge. Erstens: Awareness schaffen im eigenen Unternehmen. Wer nutzt KI bereits, wofür, mit welchen Daten? Schon allein dieser Überblick ist wertvoll. Zweitens: ein Pilotprojekt definieren, das einen klaren Nutzen liefert und datenschutzkonform aufgesetzt ist. Der Chatbot mit Firmenwissen ist dafür fast immer ein guter Einstieg. Drittens: sich mit den Optionen jenseits der US-Hyperscaler und US-KI-Modell-Anbieter beschäftigen. Es gibt regionale, souveräne Alternativen. Wir sind eine davon, aber nicht die einzige.
Was ist Ihre Mission als Mitglied der KI-Allianz Baden-Württemberg?
Ich möchte, dass KI in die Köpfe der regionalen Unternehmen und Verwaltungen kommt, damit die Tsunami-Welle nicht alle mitreißt. Die deutsche Wirtschaft ist gerade ohnehin nicht in der besten Verfassung. Und dieser Wandel ist noch gar nicht richtig angekommen. Wenn er kommt, wird er viele treffen. Die KI-Allianz ist genau aus diesem Grund wichtig. Sie bringt Unternehmen, Kommunen und Wissenschaft zusammen, regional, vernetzt, auf Augenhöhe. Genau das, was es jetzt braucht.
Über Jürgen Weber
Jürgen Weber ist Gründer und Geschäftsführer der weber.cloud aus Balingen. Das inhabergeführte Unternehmen betreibt seit über zwei Jahrzehnten ein eigenes Rechenzentrum und gehört zu den wenigen deutschen Anbietern mit vollständig souveräner Infrastruktur, vom autonomen System über die eigene Glasfaserstrecke bis zur Hardware. Seit 2010 baut weber.cloud zusätzlich eine Infrastruktur zwischen Europa und China auf. Heute betreibt das Unternehmen eine eigene souveräne KI-Cloud auf Basis frei verfügbarer Modelle. weber.cloud ist Mitglied der KI-Allianz Baden-Württemberg.
Jürgen Weber ist seit Juni 2026 Aufsichtsratsmitglied der KI-Allianz Baden-Württemberg eG.