McKinsey Lilli — KI-Sicherheitsrisiken in Unternehmen

Von David Schulte-Herbrüggen · 11.03.2026

Was am 9. Maerz wirklich passierte

Der Vorfall um McKinseys internen KI-Assistenten „Lilli" hat ein altes Problem in einem neuen Gewand sichtbar gemacht. Ein autonomer KI-Agent der Firma CodeWall verschaffte sich laut The Register in rund zwei Stunden Zugriff auf 46,5 Mio. Chatnachrichten, 728.000 Dateien, 57.000 Nutzerkonten und auf die zentralen Steuerungsregeln der KI selbst. Die Eskalation lief ohne menschlichen Eingriff. Paul Price, CEO von CodeWall, ordnete das Vorgehen seines Agenten als leistungsfaehiger ein als das eigene 15-jaehrige Pen-Test-Team.

Der Punkt ist nicht die einzelne Schwachstelle. Der Punkt ist, dass eine Maschine den gesamten Aufklaerungs- und Exploitation-Pfad ohne Aufsicht durchlaufen hat. Die Verteidigung wird dieselbe Geschwindigkeit benoetigen.

Der Mechanismus: alte Luecke, neue Reichweite

Der Einstiegspunkt war konventionell. CodeWall identifizierte 22 nicht authentifizierte API-Endpunkte und nutzte SQL-Injektion, also die Schwachstelle, die seit den 1990er Jahren in OWASP-Listen steht. Detaillierter Ablauf bei CodeWall. McKinsey patchte innerhalb eines Tages nach Disclosure am 1. Maerz.

Interessant wird es eine Ebene tiefer. Lilli stuetzt sich neben dem Code auf 95 Verhaltensanweisungen, die das Antwortverhalten fuer alle Nutzer:innen vorgeben: Tonalitaet, Themenfilter, Eskalationsregeln, Zugriffsschranken auf interne Wissensquellen. Diese Anweisungen waren ueber die offene API editierbar. Wer sie ueberschreibt, lenkt das Modell um, ohne dass die Aenderung einem Audit-Trail folgt. Genau das ist der Bruchpunkt zwischen klassischer Web-Security und KI-Security: Bei einer SQL-Injektion verliert man Daten. Bei ueberschriebenen System-Prompts verliert man die Steuerungslogik fuer alle nachfolgenden Konversationen. OWASP fuehrt Prompt-Injection deshalb als Risiko Nr. 1 in seiner LLM-Top-10.

Die Datenlage: viele planen, wenige sind bereit

Der Branchen-Kontext erklaert, warum dieser Vorfall mehr als ein Einzelfall ist. Der Cisco State of AI Security Report 2026 zeigt zwei zentrale Befunde. 83 Prozent der befragten Unternehmen planen den Einsatz autonomer KI-Agenten innerhalb der naechsten zwoelf Monate. Nur 29 Prozent halten sich sicherheitstechnisch fuer vorbereitet. Beim Schutz vor KI-spezifischen Angriffen, also Prompt-Injection, Model-Evasion, Training-Data-Poisoning, liegt der Wert bei 34,7 Prozent.

Diese Luecke ist groesser als jede klassische Security-Luecke der letzten Dekade. Bei Web-Apps gab es eine eingespielte Industrie aus Pen-Tests, WAFs und Standards. Bei KI-Systemen entsteht das Reifegrad-Modell gerade erst, waehrend die Angriffsflaeche bereits in Produktion geht.

Pflichten ab August 2026: Verantwortung wird benannt

Der EU AI Act tritt mit den zentralen Hochrisiko-Pflichten am 2. August 2026 in Kraft. Fuer Unternehmen mit KI-Systemen in Personalwesen, Kreditpruefung, Bildungsbewertung und kritischer Infrastruktur bedeutet das konkret: dokumentierte Risikomanagement-Prozesse, qualifizierte Datensaetze, technische Dokumentation, menschliche Aufsicht, Cybersicherheitspflichten und eine benannte verantwortliche Person auf Managementebene. Strafen reichen bis 35 Mio. EUR oder 7 Prozent des weltweiten Jahresumsatzes.

In der Praxis schlagen drei Anforderungen direkt auf die Lilli-Lehren durch. Erstens: Authentifizierung und Zugriffssteuerung an jeder API. Zweitens: versionierte System-Prompts mit Audit-Trail bei Aenderungen. Drittens: eine namentlich benannte verantwortliche Person mit eigenen Pruef- und Eskalationspflichten, also keine Personalunion mit dem CTO.

Was das fuer Payroll und HR-KI bedeutet

Payroll- und HR-Workflows sind ein dankbarer Anwendungsfall fuer KI-Assistenten: Onboarding-Bots, Self-Service-Portale fuer Lohnabfragen, Auto-Tagging in der DATEV-Vorbereitung, Krankmeldungs-Assistenz. Der gemeinsame Nenner mit Lilli ist die Architektur. Eine API, ein steuernder System-Prompt, Zugriff auf eine sensible Datenbank.

Die Datenklasse ist allerdings eine andere. Payroll-Systeme verarbeiten Steuer-IDs, Sozialversicherungsnummern, Kontodaten, Religionszugehoerigkeit, Schwerbehindertenstatus und Krankheitsbezuege — also auch besondere Kategorien personenbezogener Daten nach Art. 9 DSGVO. Ein erfolgreicher Angriff auf einen HR-KI-Assistenten produziert nicht nur Reputationsschaden, sondern direkt einen meldepflichtigen Datenschutzvorfall mit moeglicher Bussgeldhoehe nach Art. 83 DSGVO.

Drei Beobachtungen aus der Mandanten-Praxis. KI-Schnittstellen in HR-Tools muessen pro Mandant getrennte Authentifizierungsdomaenen nutzen, sonst wird ein Mandanten-Chatbot zum Hebel fuer den naechsten. System-Prompts gehoeren in eine Versionsverwaltung mit Vier-Augen-Freigabe; eine Aenderung ohne Audit-Trail ist eine offene Tuer im Sinne des EU AI Act. Und die verantwortliche Person nach EU AI Act sollte vor August 2026 benannt sein, mit klaren Eskalationswegen zur Geschaeftsfuehrung.

FAQ

Was war der eigentliche Angriffsvektor bei Lilli?
SQL-Injektion ueber 22 nicht authentifizierte API-Endpunkte. Der Einbruch war technisch klassisch. Das Besondere war die Autonomie des angreifenden KI-Agenten und die Reichweite nach dem Einbruch — bis hinein in die Steuerungsregeln des Modells.

Warum sind ueberschreibbare System-Prompts so kritisch?
System-Prompts sind die Steuerungsschicht fuer alle Konversationen. Wer sie veraendert, kontrolliert, was die KI antwortet, welche Themen sie filtert und welche internen Daten sie freigibt. Ohne Versionierung bleibt der Eingriff unsichtbar.

Was sagt der EU AI Act zu solchen Vorfaellen?
Hochrisiko-KI-Systeme muessen ab 2. August 2026 Cybersicherheitsmassnahmen, Risikomanagement und menschliche Aufsicht nachweisen. Eine namentlich benannte verantwortliche Person auf Managementebene wird Pflicht. Verstoesse koennen mit bis zu 35 Mio. EUR oder 7 Prozent des Jahresumsatzes geahndet werden.

Sind HR- und Payroll-KI-Assistenten besonders gefaehrdet?
Die Architektur unterscheidet sich nicht von Lilli. Die verarbeiteten Daten allerdings fallen unter Art. 9 DSGVO (besondere Kategorien). Ein erfolgreicher Angriff fuehrt direkt zu einem meldepflichtigen Datenschutzvorfall.

Was sind die drei wichtigsten Sofortmassnahmen?
Authentifizierung an jeder API pruefen, System-Prompts versionieren mit Audit-Trail, verantwortliche Person nach EU AI Act benennen. Alle drei Punkte gehoeren vor August 2026 erledigt.

Reicht es, nach Vorfaellen zu patchen, wie es McKinsey getan hat?
Patch-Disziplin ist Pflicht, aber nicht ausreichend. Der Cisco-Report 2026 zeigt, dass 65 Prozent der Unternehmen keine Abwehrmechanismen gegen KI-spezifische Angriffe wie Prompt-Injection haben. Diese Klasse von Angriffen erfordert KI-eigene Test- und Monitoring-Verfahren, klassische Patches reichen dafuer nicht aus.

Quellen

Vertiefung: DSGVO Lohnabrechnung
Rechtsgrundlagen, AVV, TOMs und Schrems-II-Risiken kompakt erklärt →