Risiken von KI für kleine Unternehmen 2026: Was schiefgehen kann und wie Sie sich schützen

Ein bekanntes Beispiel sind die Halluzinationen von KI-Chatbots wie ChatGPT oder Claude. Diese sind darauf ausgelegt, jede Frage mit wohl klingenden, überzeugenden Formulierungen zu beantworten. Das sagt jedoch nichts darüber aus, ob die Antwort stimmt. Kurz gesagt: Moderne KI-Modelle sind probabilistische Software. Sie schreiben ihre Antworten nicht auf Basis von Erfahrung und Überzeugungen, sondern danach, welche Wörter einen Text am wahrscheinlichsten fortsetzen.

Hat ein KI-Chatbot keine gute Antwort auf eine Frage parat, erfindet er stattdessen oftmals eine, die plausibel klingt: Er halluziniert, ausgehend von den wahrscheinlichsten Wörtern. Dabei merkt er nicht, dass seine Aussagen falsch sind, sondern schreibt einfach den Text weiter, der seiner Ansicht nach am wahrscheinlichsten ist. KI-Chatbots haben dabei kein echtes Verständnis der Welt um uns herum. Deshalb können sie die Qualität ihrer eigenen Antworten nicht so beurteilen, wie wir Menschen es tun.

Eine zweite Ursache für viele Risiken sind die Fortschritte der generativen KI mit Medien: Bilder und Videos lassen sich in erstaunlicher Qualität erzeugen, menschliche Stimmen lassen sich täuschend echt nachahmen. Dadurch entstehen Risiken überall dort, wo wir Texten und Bildern blind Vertrauen schenken.

Shadow AI ist riskant, weil dabei oft personenbezogene, geschäftskritische und vertrauliche Daten auf eine Weise verarbeitet werden, die Unternehmen schadet und sogar gegen Gesetze verstößt. Beliebte Chatbots wie Gemini, Claude und ChatGPT sind sind hierbei die häufigsten Schatten-Tools. In privaten Accounts dieser Chatbots werden Chat-Daten durch die Anbieter standardmäßig dafür genutzt, ihre KI-Modelle zu trainieren. Dazu kommt, dass zu diesen Accounts keine AVV hinterlegt ist. Diese ist jedoch eine entscheidende Voraussetzung, um personenbezogene Daten von Mitarbeitern und Kunden innerhalb der EU überhaupt verarbeiten zu dürfen.

Ein Beispiel: Ein Mitarbeiter kopiert die E-Mail eines Kunden in den Chat seines persönlichen ChatGPT-Kontos, um seine Antwort besser auszuformulieren. Damit werden die personenbezogenen Daten aus der E-Mail ohne AVV verarbeitet, was einen möglichen Verstoß gegen die DSGVO darstellt. Stellt der Kunde außerdem noch Fragen über Ihr neues, noch unveröffentlichtes Produkt, können dessen Details in die Daten einfließen, mit denen OpenAI sein nächstes KI-Modell trainiert. Dies kann dazu führen, dass Ihre Wettbewerber Details über Ihr Unternehmen und Ihre neuen Produkte erfahren, die Sie öffentlich so nicht teilen würden. Letztendlich verlieren Sie damit die Kontrolle darüber, was mit Ihren Daten geschieht.

Es ist also keine Lösung, KI-Tools wegen ihrer Risiken einfach zu verbieten. Wo keine offiziellen Tools existieren, entsteht Shadow AI erst recht. Fragen Sie Ihre Mitarbeiter stattdessen, welche KI-Anwendungen ihnen am wichtigsten sind, und stellen Sie Tools bereit, die Geschäftsdaten sauber verarbeiten. (Selbst ChatGPT gibt es in einer Version für Unternehmensdaten.)

Schließlich können Sie in einer KI-Richtlinie festlegen, wofür KI-Tools genutzt werden dürfen und welche Tools und Einsatzszenarien verboten sind - das schafft Transparenz.

Mit generativer KI lassen sich E-Mails fälschen, die Stimme Ihres Chefs klonen oder sogar sein Aussehen in einem Videoanruf imitieren. Damit beweisen solche Medien nicht mehr, mit wem Sie gerade sprechen oder schreiben.

Wir sind es gewohnt, den Entscheidungen von Kollegen und Vorgesetzten im Arbeitsalltag zu vertrauen. Genau dieses Vertrauen nutzen Angreifer aus, indem sie diese Personen täuschend echt nachahmen. Sind Geschäftsprozesse nicht gegen diese Art an Angriffen abgesichert, können sie erheblichen Schaden in Unternehmen anrichten.

Ein prominentes Beispiel ist ein Vorfall beim Unternehmen Arup. Im Jahr 2024 erhielt ein Mitarbeiter der Finanzabteilung eine E-Mail von seinem CFO mit der Bitte, 25,6 Millionen US-Dollar auf das Konto eines Dritten zu überweisen. Er war zu Recht skeptisch - und wurde daraufhin zu einer Webkonferenzen mit dem CFO und weiteren Kollegen eingeladen. Was er nicht ahnte: alle Kollegen wurden von einer KI gespielt. Und das so überzeugend, dass der Mitarbeiter die Überweisung genehmigte. Seine Skepsis war berechtigt. Ihm war allerdings nicht bewusst, dass er seinen Augen bei Webkonferenzen nicht mehr grenzenlos trauen kann, um die Identität einer Person zu bestätigen.

Das ist kein Einzelfall. Die weltweit bekannten Verluste durch Deepfake-Betrug beliefen sich bis Juni 2026 auf 3,7 Milliarden US-Dollar, so Surfshark. Außerdem lassen sich personalisierte Phishing-Mails mit generativer KI inzwischen günstig herstellen, während einstmals typische Warnsignale wie schlechte Grammatik und Tippfehler fehlen.

Welche Maßnahmen können Sie nun ergreifen? Legen Sie für kritische Geschäftsprozesse, wie etwa Zahlungen oder Warenlieferungen, eindeutig fest, wie Entscheidungen getroffen und kommuniziert werden. Sorgen Sie dafür, dass Ihre Führungskräfte nicht spontan anrufen und Mitarbeiter bitten, 'doch bitte pragmatisch zu sein' und den Prozess nur dieses eine Mal zu vergessen. Festgelegte ROutinen zur Bestätigung der Identität helfen: Eingehende Anrufe lassen sich leicht fälschen, ein Rückruf an die bekannte Nummer Ihres Vorgesetzten ist dagegen deutlich schwerer abzufangen. Nutzen Sie außerdem das Vier-Augen-Prinzip für wichtige Entscheidungen sowie Limits für die Beträge, die ein einzelner Mitarbeiter überweisen oder ausgeben darf.

Risiken und ihre konkreten Auswirkungen hängen stets vom individuellen Kontext des Prozesses ab. Selbst das beste Risikomanagement kann daher nicht allen Risiken entgegenwirken. Es erlaubt Ihnen allerdings, gewisse Risiken bewusst einzugehen während Sie inakzeptable vermeiden.

Wir alle kennen die Situation: Tools wie OpenAI Codex, Claude Code oder ähnliche machen es uns leicht, schnell eine erste Version eines neuen Tools zu erstellen. Es sieht gut aus und tut in den ersten Tests alles, was wir erwarten.

Doch in solchen Tests betrachten wir meist nur die 90 Prozent der Standardfälle. Die Risiken stecken in den seltenen Ausnahmefällen, die bei Tests durchrutschen. Als Beispiel: KI-Automatisierungstools arbeiten meist mit Daten von Menschen oder anderen IT-Systemen. Fallen diese vom Inhalt her aus der Reihe und haben ungewöhnliche Inhalte, weiß das Tool möglicherweise nicht, wie es damit umgehen soll. Dazu gehören auch Kundenanfragen, mit denen Sie bei Ihren internen Tests nicht gerechnet haben. Das kann zu falschen Entscheidungen und Fehlinformationen führen, und dadurch Schaden verursachen.

Ein Beispiel liefert der folgende Fall von Air Canada. Im Jahr 2022 informierte sich ein Kunde beim neuen Chatbot der Fluggesellschaft über die Erstattungsregeln für den Fall, dass nahe Angehörige plötzlich versterben. Dabei erfand der Chatbot eine Firmen Policy, die es gar nicht gab. Als der Kunde sich später auf diese nicht existierende Regel berief, um sich die Kosten seines Tickets erstatten zu lassen, entschied ein Schlichtungsgericht, dass Air Canada voll für die Informationen verantwortlich ist, die der Chatbot zurück gibt – oder eben erfindet. Falsche Auskünfte über Tarife sind ein Risiko, mit dem die Fluggesellschaft hätte rechnen müssen.

Risikomanagement anzuwenden ist hier eine etablierte Praxis. Doch wo fängt man am besten an? Einen öffentlichen Standard liefert die Norm ISO/IEC 42001. So wie ISO/IEC 27001 der etablierte Standard für Informationssicherheit ist, beschreibt ISO/IEC 42001 alle relevanten Schritte, die Sie bei KI Risiken beachten müssen. Für kleine Unternehmen wäre die vollständige Umsetzung allerdings oft überdimensioniert. Melden Sie sich gerne bei mir, wenn Sie mehr darüber erfahren möchten.

Stellen Sie sich für den Anfang Fragen wie diese: Wo trifft Ihre KI Entscheidungen oder stellt Informationen bereit? Auf welche Weise können diese Daten oder Entscheidungen fehlerhaft sein? Wer nutzt diese Informationen, oder wer ist von den getroffenen Entscheidungen betroffen? Wie lässt sich der mögliche Schaden für diese Beteiligten messen (finanzieller Schaden, Reputationsschaden, verlorene Zeit usw.)? Haben Sie die relevanten Fehlerszenarien erfasst, können Sie anschließend vorausschauend Maßnahmen planen, um sie zu vermeiden.

Beginnen Sie immer beim eigentlichen Geschäftsproblem, das Ihr KI-Agent lösen soll, und arbeiten sich von dort aus zurück: Welche Aktionen und Informationen braucht er wirklich, um dieses Ziel zu erreichen? Die Frage, was ihr Agent alles zu leisten imstande ist, ist hier nicht die Entscheidende. sondern viel mehr: „Habe ich die Befugnisse meines Agenten auf das notwendige Minimum reduziert?“

Viele KI-Agenten bieten komfortable Möglichkeiten, um zahlreiche und ganz verschiedene Aufgaben aus einer Hand zu erledigen. Das einzige was sie dafür brauchen: Zugriff auf Daten und andere IT Systeme. Doch diese Bequemlichkeit hat ihren Preis.

Betrachten Sie dazu ein reales Beispiel: GeminiJack war eine Schwachstelle in Googles Gemini Enterprise, einem KI-Assistenten für Unternehmen. Noma Security hat sie im Dezember 2025 öffentlich gemacht.

• Der KI-Assistent kann das Gmail-Postfach, den Kalender und die Google Docs eines Unternehmens durchsuchen, um Fragen von Mitarbeitern zu beantworten.
• Ein Angreifer musste nur einen einzigen Inhalt, etwa eine Kalendereinladung oder eine E-Mail, ins Unternehmen einschleußen, zum Beispiel indem er ein Google-Dokument teilte. Das Dokument konnte zwar harmlos aussehen, aber versteckte Anweisungen für die KI enthalten.
• Später suchte ein Mitarbeiter routinemäßig nach einer Information, wie zum Beispiel 'Zeig mir unsere Budgets'. Die KI bearbeitete die manipulierte Datei, bearbeitete die versteckte Anweisung und durchsuchte dann Gmail, Kalender und Docs nach sensiblen Begriffen.
• Schließlich gab die KI diese Informationen an den Angreifer weiter. Kein Mitarbeiter musste etwas anklicken oder eine falsche Entscheidung treffen, damit der Angriff gelang.

Google hat diese konkrete Schwachstelle behoben, nachdem die Forscher sie gemeldet hatten. Das zugrunde liegende Problem bleibt jedoch bestehen: KI kann nicht zuverlässig unterscheiden zwischen Informationen, die sie verarbeiten soll, und Anweisungen, die sie ignorieren muss. Ähnliche Angriffsszenarien tauchen regelmäßig auch bei anderen Produkten auf, etwa bei Microsoft 365 Copilot und beim KI-Assistenten von Slack.

Um die Risiken zu minimieren, sollten Sie sich daher kritisch fragen:

• Welche Daten und anderen IT-Dienste sind mit meinem KI-Tool oder Agenten verbunden?
• Welche Ergebnisse, Daten oder Entscheidungen erwarte ich von ihm?
• Welche Daten oder anderen IT-Dienste braucht er wirklich?
• Welchen Quellen kann er vertrauen? Behandeln Sie E-Mails, geteilte Dokumente, Kalendereinladungen und Webseiten standardmäßig als nicht vertrauenswürdig, solange sie nicht sorgfältig geprüft wurden.
• Welche kritischen Entscheidungen, die sich nicht rückgängig machen lassen, müssen in jedem Fall von Menschen freigegeben werden?
• Alles, was nicht gebraucht wird, sollte nicht angebunden sein, auch wenn es den Komfort erhöhen würde.

Viele Anbieter bauen derzeit eigene Entwicklungsumgebungen auf, mit Hilfe derer Sie leicht Ihre eigenen KI-Agenten oder spezialisierte KI-Dienste erstellen können. Damit fällt es leicht, leistungsfähige Lösungen für alltägliche Geschäftsprobleme zu initiieren. Es birgt aber das Risiko eines Vendor-Lock-ins: Je stärker Ihre Geschäftsprozesse von einem einzigen Anbieter abhängen, desto schwerer wird ein späterer Wechsel zu alternativen Lösungen.

Eine solche Abhängigkeit kann auf vielerlei Weise schmerzen. Erstens sind die Preismodelle vieler KI-Anbieter noch sehr dynamisch, sodass sich Preise oder Nutzungsgrenzen künftig deutlich ändern können. Zweitens können KI-Modelle, auf denen Ihre KI-Dienste beruhen, eingestellt und mit nur kurzer Vorankündigung durch eine neue Modellversion ersetzt werden. Der Wechsel auf diese neue Version kann das Verhalten Ihres eigenen Dienstes auf unvorhersehbare Weise verändern. Drittens bieten KI-Agenten kleiner Start-ups oftmals innovative Lösungen. Doch Start-ups können insolvent gehen, und der Zugang zu ihren Automatisierungsdiensten verschwindet dann von einem Tag auf den anderen. Im kleineren Maßstab wirken sich auch kurzzeitige Ausfälle direkt auf Ihr Geschäft aus, wenn dieser KI-Dienst einen Single-Point-of-Failure für Ihre Prozesse darstellt.

Wie Sie sehen, können Vendor-Lock-ins bei KI-Diensten teuer werden und Ihre Geschäftsprozesse stören. Wie bleibt Ihr Unternehmen also resilient?

• Kontrolle über Ihre Daten behalten: Bewahren Sie Ihre Dokumente, Prompts und Konfigurationen für jeden Dienst in einem exportierbaren Format auf.
• Proprietäre Plattformen vs. offene Standards: Wenn Sie offene Standards den Vorzug vor herstellerspezifischen Toolkits geben, erleichtert Ihnen das einen späteren Anbieterwechsel.
• Verträge prüfen: Welche Verfügbarkeit wird für IT Dienste garantiert, welche Fristen für die Löschung von Daten sind festgelegt, und gibt es eine garantierte Möglichkeit, Ihre Daten zu exportieren?
• Manueller Fallback-Prozess: Kann Ihr Team die dringenden Aufgaben im Notfall selbst erledigen?
• Notfallplan erstellen: Schreiben Sie für die dringenden und kritischen Prozesse die konkreten Schritte auf, die Ihre Teams im schlimmsten Fall unternehmen müssen. Legen Sie außerdem fest, welche Prozesse niedrige Priorität haben und nicht sofort ausgeführt werden müssen. Mit diesem Plan können Ihre Teams sofort handeln und so die Folgen schwerer Betriebsstörungen begrenzen.

Ein Vendor-Lock-in muss allerdings nicht in jedem Fall schlecht sein. Wenn alle Daten an einem Ort liegen, senkt das die Komplexität für Ihre Teams. Außerdem wird es dadurch wahrscheinlicher, dass verschiedene KI Dienste nahtlos zusammenarbeiten. Wichtig ist letzendlich vor allem: Seien Sie sich der Risiken bewusst und treffen Sie eine fundierte Entscheidung.

Diese Pflichten gelten heute für Sie:

• Keine verbotenen Praktiken. Manipulative KI, Social Scoring und uneingeschränkte biometrische Überwachung sind seit Februar 2025 verboten. Die Bußgelder können bis zu 35 Millionen Euro oder 7 % des Jahresumsatzes betragen. Für KMU gilt der jeweils niedrigere der beiden Beträge.
• KI-Kompetenz. Sie müssen Maßnahmen ergreifen, um die KI-Kompetenz Ihrer Mitarbeiter zu fördern. Seit der Änderung im Juli 2026 müssen Sie kein bestimmtes Kompetenzniveau für jede einzelne Person garantieren. Sie sollten aber nachweisen können, was Sie getan haben, zum Beispiel Schulungen und eine klare KI-Richtlinie.
• Transparenz. Seit August 2026 müssen Menschen erkennen können, dass sie mit einer KI interagieren, zum Beispiel mit einem Chatbot. Deepfakes und KI-generierte Texte zu Themen von öffentlichem Interesse müssen gekennzeichnet werden. Anbieter generativer KI müssen ihre generierten Medien zusätzlich maschinenlesbar markieren. Für Systeme, die schon vor August 2026 auf dem Markt waren, gilt das ab dem 2. Dezember 2026.
• Hochrisiko-Systeme. Es gelten strenge Regeln, falls Sie KI für Personalentscheidungen wie die Vorauswahl von Bewerbern, in der Bildung oder bei der Kreditvergabe einsetzen. Diese wurden auf Dezember 2027 verschoben (und auf August 2028 für KI, die in regulierte Produkte eingebettet ist), sodass Ihnen noch Zeit zur Vorbereitung bleibt.

Ihr erster Schritt: Erstellen Sie ein Inventar der KI-Tools. Listen Sie auf, welche KI-Tools Sie nutzen, wer sie verwendet, wofür, und in welche Risikokategorie sie fallen. Details zum Gesetz, zu den Risikokategorien und zu den Fristen finden Sie in meinem ausführlichen Artikel zum EU AI Act.

Beginnen Sie mit Risikomanagement. Fragen Sie sich, wie weiter oben beschrieben: Wo trifft meine KI Entscheidungen oder generiert Inhalte? Wie können Entscheidungen oder Inhalte fehlerhaft sein? Wer ist betroffen, und wie hoch ist der mögliche Schaden? Schreiben Sie diese Risikoszenarien auf, planen Sie Gegenmaßnahmen und überprüfen Sie die Analyse bei jeder Änderung Ihres Produkts.

Kennen Sie Ihre Rolle im EU AI Act. Selbst wenn Ihr KI-Produkt auf einem Modell von OpenAI, Google oder Anthropic aufbaut, sind Sie dessen Anbieter. Das heißt: Sie sind für Transparenz verantwortlich. Ihre Nutzer müssen wissen, dass sie es mit einer KI zu tun haben, und generierte Inhalte müssen gekennzeichnet sein. Ihre Geschäftskunden müssen verstehen, was Ihr Produkt kann und was nicht. Fällt Ihr Produkt in einen Hochrisiko-Bereich, gelten ab Dezember 2027 Anforderungen wie Datenqualität, technische Dokumentation, Protokollierung von Ereignissen, menschliche Aufsicht und Cybersicherheit.

Überwachen Sie Ihre KI im Betrieb. Klassische Software verhält sich vorhersehbar, solange Sie sie nicht ändern. KI ist anders: Modellanbieter aktualisieren ihre Modelle, Kunden stellen Anfragen, die Sie nie getestet haben, und die Qualität kann nachlassen, ohne dass eine Fehlermeldung erscheint. Messen Sie deshalb laufend:

• Qualität: Lassen Sie automatisch eine feste Sammlung von Testfällen laufen, sobald Sie einen Prompt oder ein Modell ändern, und lassen Sie echte Antworten oder Entscheidungen regelmäßig von Menschen prüfen.
• Nutzerinteraktion: Erfassen Sie Feedback-Bewertungen, wie oft Nutzer nach einem Menschen verlangen, wie oft sie dieselbe Frage umformulieren, an welcher Stelle sie aufgeben - alles, was Sie die Nutzerzufriedenheit messen lässt, hilft weiter.
• Sicherheit: Zählen Sie, wie oft Schutzmechanismen (Guardrails) eingreifen müssen und wie oft Angriffe wie Prompt Injection versucht werden.
• Betrieb der IT: Beobachten Sie Antwortzeiten, Fehlerraten und Kosten pro Anfrage.
• Kontrolle: Legen Sie Modellversionen fest, testen Sie vor einem Wechsel und halten Sie einen Rückfall auf einen menschlichen Prozess bereit.

Die Protokollierung hilft auch bei den Anforderungen des AI Acts sowie bei der Analyse von Vorfällen. Denken Sie jedoch an die DSGVO: Speichern Sie nur, was Sie brauchen, und löschen Sie Daten regelmäßig.

KI hat hier keine neue Art von Angriff erfunden. Sie hat Fehler entdeckt, die mehr als ein Jahrzehnt verborgen blieben, und sie schneller ausnutzbar gemacht als es früher möglich gewesen wäre. Es ändern sich nicht die Probleme, sondern die Geschwindigkeit, mit der sie entdeckt werden. Rechnen Sie mit weiteren solchen Wellen an Software-Schwachstellen.

Das schützt Sie: automatische Updates wo immer möglich, klare Verantwortlichkeiten, wer für die Updates verantwortlich ist, möglichst wenige öffentlich erreichbare Systeme und getestete Backups. Den Hintergrund erkläre ich in meinem Artikel zu KI und Software-Sicherheit.