KI im Mittelstand: Wo anfangen, wenn man keine Ahnung hat?

Ein Blick in die Realität zu Anfang

Die meisten kommen auf mich zu mit der Ansicht: „Wir müssen etwas mit KI machen!" Und schon liegt das Problem auf dem Tisch.

Wer mit der Technologie startet, fängt am falschen Ende an. Startet stattdessen mit der Frage: Was kostet uns am meisten Zeit und Nerven? Denn dort liegt meist auch schon euer erster Use Case. Und dieser ist meist kein Hexenwerk.

Klassische Beispiele aus der Praxis: Angebote individuell nachfassen, LinkedIn- oder Blog-Beiträge schreiben, wiederkehrende Recherchen. Das sind keine exotischen Anforderungen. Das ist Alltag in 80 % der Unternehmen, die ich kenne.

Daten: Das Problem, über das keiner reden will

Bevor ihr euch auch nur ein Tool anschaut, solltet ihr ehrlich mit euch sein: Wie gut ist eure Datenbasis? In den meisten KMU ist die Antwort nämlich eher unangenehm. Informationen stecken in Excel-Tabellen, in verschiedenen Tools die nicht miteinander sprechen oder schlichtweg nur in den Köpfen der Mitarbeitenden.

Genau das ist laut aktuellen Studien einer der häufigsten Gründe, warum der Einstieg scheitert. Nicht die KI ist das Problem. Sondern das Fundament auf dem alles aufbaut. Ihr könnt das beste Werkzeug der Welt haben. Wenn die Vorarbeit nicht gemacht wurde, kann das Werkzeug seine Wirkung nicht vollständig entfalten.

Meine Empfehlung: Bringt also erst eure Datenbasis in Ordnung, bevor ihr über KI nachdenkt. Das klingt unspektakulär. Ist aber ein entscheidender Schritt.

Praxis-Tipp: Schreibt auf, wo eure wichtigsten Geschäftsdaten gerade leben. CRM, ERP, Tabellen, E-Mails, Köpfe? Wenn ihr mehr als drei Quellen habt und keine davon miteinander spricht, dann habt ihr eure eigentliche Baustelle gefunden.

Generative KI ist der einfachste Einstieg

Ihr müsst nicht mit komplexen Systemen starten. Texte erstellen, E-Mails formulieren, Meetings zusammenfassen, Daten strukturieren. Genau das machen Tools wie ChatGPT, Copilot oder Claude mittlerweile nahezu perfekt. Und genau das tun laut KI-Index Mittelstand 2025 bereits rund 73 % der KMU, die KI einsetzen. Generative KI dominiert weit vor allen anderen Ansätzen.

Die Hürde ist niedrig und der Nutzen sofort spürbar. Das macht diese Technologie als Einstieg so sinnvoll. Ihr braucht keine IT-Abteilung, keine Monate Vorbereitung und kein sechsstelliges Budget. Welches Tool für welchen Zweck am besten geeignet ist, haben wir in unserem Praxis-Guide zu KI-Modellen zusammengefasst.

Ihr braucht keine eigene KI-Abteilung

Das ist einer der Gedanken, der viele lähmt. „Wir haben da niemanden für." Stimmt meistens. Sollte aber kein Show-Stopper sein.

Laut KI-Index Mittelstand 2025 sehen 27 % der KMU mangelndes Wissen als größtes Hindernis. Das ist lösbar. Holt euch einfach externes Know-how how, sammelt erste Erfahrungen und baut parallel intern das Wissen auf. Nicht umgekehrt.

Mein Learning aus verschiedenen Projekten: Wer wartet, bis er intern alles kann, wartet zu lang. Fangt mit einem klar definierten Prozess an, holt euch Unterstützung für genau dieses Thema. Und lernt dabei von ihnen.

Eure Mitarbeitenden nutzen KI schon. Auch ohne euch.

Das ist der Punkt, der viele CEOs überrascht. In jedem dritten Unternehmen nutzen Mitarbeitende private ChatGPT oder Claude-Accounts für die Arbeit. Ohne Freigabe, ohne Richtlinien, ohne dass ihr es wisst.

Das zu ignorieren ist keine Option. Ihr verliert damit die Kontrolle darüber, welche Daten wohin fließen. Die Lösung ist nicht es zu verbieten. Ihr solltet offiziell Raum dafür schaffen, klare Regeln aufstellen, die richtigen Tools bereitstellen. Sodass ihr Einfluss und Kontrolle darüber habt.

Konkrete Fragen, die ihr klären solltet:

• Welche KI-Tools dürfen unsere Mitarbeitenden nutzen?
• Welche Daten dürfen in externe KI-Systeme eingegeben werden?
• Was ist explizit verboten? Und warum?

Drei Fragen. Eine Seite. Das ist eure erste KI-Richtlinie.

Klein starten. Wirklich klein.

Über 50 % der KMU stecken laut einer aktuellen KI-Studie von Mittelstand Digital in der Experimentierphase. Das ist kein Problem, solange das Experiment ein Ziel hat.

Mein Ansatz: Ein Prozess. Ein Tool. Ein Team. Drei Monate. Klares Ergebnis. Kein Open-End-Experiment. Wenn sich nach drei Monaten zeigt, dass es sich lohnt: skalieren. Wenn nicht: Learnings mitnehmen und nächsten Use Case angehen.

Die KI-Investitionsquote im Mittelstand liegt übrigens unter 0,5 % des Umsatzes. Es muss also kein Vermögen sein. Entscheidend ist, dass ihr mit einem definierten Rahmen arbeitet, nicht mit einem offenem Budget oder offenem Zeitfenster.

KI ersetzt keine kaputten Prozesse

Das ist mein persönlicher Lieblingshinweis. Und der, der am seltensten gehört wird. Wenn ein Ablauf nicht funktioniert, macht KI ihn nur schneller kaputt. Mehr Fehler in kürzerer Zeit. Das ist keine Übertreibung, das ist Mathematik. KI verstärkt, was da ist. Kein Werkzeug kann einen fundamental schlechten Prozess retten.

Erst den Prozess in Ordnung bringen. Dann automatisieren. Nicht umgekehrt.