McKinsey Lilli — KI-Sicherheitsrisiken in Unternehmen

McKinsey Lilli — KI-Sicherheitsrisiken in Unternehmen

Von David Schulte-Herbrüggen · Zuerst auf LinkedIn erschienen am 11.03.2026

Was am 9. März wirklich passierte

Der Vorfall um McKinseys internen KI-Assistenten „Lilli" hat ein altes Problem in einem neuen Gewand sichtbar gemacht. Ein autonomer KI-Agent der Firma CodeWall verschaffte sich laut The Register in rund zwei Stunden Zugriff auf 46,5 Mio. Chatnachrichten, 728.000 Dateien, 57.000 Nutzerkonten und auf die zentralen Steuerungsregeln der KI selbst. Die Eskalation lief ohne menschlichen Eingriff. Paul Price, CEO von CodeWall, ordnete das Vorgehen seines Agenten als leistungsfähiger ein als das eigene 15-jährige Pen-Test-Team.

Der Punkt ist nicht die einzelne Schwachstelle. Der Punkt ist, dass eine Maschine den gesamten Aufklärungs- und Exploitation-Pfad ohne Aufsicht durchlaufen hat. Die Verteidigung wird dieselbe Geschwindigkeit benötigen.

Der Mechanismus: alte Lücke, neue Reichweite

Der Einstiegspunkt war konventionell. CodeWall identifizierte 22 nicht authentifizierte API-Endpunkte und nutzte SQL-Injektion, also die Schwachstelle, die seit den 1990er Jahren in OWASP-Listen steht. Detaillierter Ablauf bei CodeWall. McKinsey patchte innerhalb eines Tages nach Disclosure am 1. März.

Interessant wird es eine Ebene tiefer. Lilli stützt sich neben dem Code auf 95 Verhaltensanweisungen, die das Antwortverhalten für alle Nutzer:innen vorgeben: Tonalität, Themenfilter, Eskalationsregeln, Zugriffsschranken auf interne Wissensquellen. Diese Anweisungen waren über die offene API editierbar. Wer sie überschreibt, lenkt das Modell um, ohne dass die Änderung einem Audit-Trail folgt. Genau das ist der Bruchpunkt zwischen klassischer Web-Security und KI-Security: Bei einer SQL-Injektion verliert man Daten. Bei überschriebenen System-Prompts verliert man die Steuerungslogik für alle nachfolgenden Konversationen. OWASP führt Prompt-Injection deshalb als Risiko Nr. 1 in seiner LLM-Top-10.

Die Datenlage: viele planen, wenige sind bereit

Der Branchen-Kontext erklärt, warum dieser Vorfall mehr als ein Einzelfall ist. Der Cisco State of AI Security Report 2026 zeigt zwei zentrale Befunde. 83 Prozent der befragten Unternehmen planen den Einsatz autonomer KI-Agenten innerhalb der nächsten zwölf Monate. Nur 29 Prozent halten sich sicherheitstechnisch für vorbereitet. Beim Schutz vor KI-spezifischen Angriffen, also Prompt-Injection, Model-Evasion, Training-Data-Poisoning, liegt der Wert bei 34,7 Prozent.

Diese Lücke ist größer als jede klassische Security-Lücke der letzten Dekade. Bei Web-Apps gab es eine eingespielte Industrie aus Pen-Tests, WAFs und Standards. Bei KI-Systemen entsteht das Reifegrad-Modell gerade erst, während die Angriffsfläche bereits in Produktion geht.

Pflichten ab August 2026: Verantwortung wird benannt

Der EU AI Act tritt mit den zentralen Hochrisiko-Pflichten am 2. August 2026 in Kraft. Für Unternehmen mit KI-Systemen in Personalwesen, Kreditprüfung, Bildungsbewertung und kritischer Infrastruktur bedeutet das konkret: dokumentierte Risikomanagement-Prozesse, qualifizierte Datensätze, technische Dokumentation, menschliche Aufsicht, Cybersicherheitspflichten und eine benannte verantwortliche Person auf Managementebene. Strafen reichen bis 35 Mio. EUR oder 7 Prozent des weltweiten Jahresumsatzes.

In der Praxis schlagen drei Anforderungen direkt auf die Lilli-Lehren durch. Erstens: Authentifizierung und Zugriffssteuerung an jeder API. Zweitens: versionierte System-Prompts mit Audit-Trail bei Änderungen. Drittens: eine namentlich benannte verantwortliche Person mit eigenen Prüf- und Eskalationspflichten, also keine Personalunion mit dem CTO.

Was das für Payroll und HR-KI bedeutet

Payroll- und HR-Workflows sind ein dankbarer Anwendungsfall für KI-Assistenten: Onboarding-Bots, Self-Service-Portale für Lohnabfragen, Auto-Tagging in der DATEV-Vorbereitung, Krankmeldungs-Assistenz. Der gemeinsame Nenner mit Lilli ist die Architektur. Eine API, ein steuernder System-Prompt, Zugriff auf eine sensible Datenbank.

Die Datenklasse ist allerdings eine andere. Payroll-Systeme verarbeiten Steuer-IDs, Sozialversicherungsnummern, Kontodaten, Religionszugehörigkeit, Schwerbehindertenstatus und Krankheitsbezüge — also auch besondere Kategorien personenbezogener Daten nach Art. 9 DSGVO. Ein erfolgreicher Angriff auf einen HR-KI-Assistenten produziert nicht nur Reputationsschaden, sondern direkt einen meldepflichtigen Datenschutzvorfall mit möglicher Bußgeldhöhe nach Art. 83 DSGVO.

Drei Beobachtungen aus der Mandanten-Praxis. KI-Schnittstellen in HR-Tools müssen pro Mandant getrennte Authentifizierungsdomänen nutzen, sonst wird ein Mandanten-Chatbot zum Hebel für den nächsten. System-Prompts gehören in eine Versionsverwaltung mit Vier-Augen-Freigabe; eine Änderung ohne Audit-Trail ist eine offene Tuer im Sinne des EU AI Act. Und die verantwortliche Person nach EU AI Act sollte vor August 2026 benannt sein, mit klaren Eskalationswegen zur Geschäftsführung.

Wie Payroll Fuchs die Lohnabrechnung automatisiert und jede Abrechnung vom Wirtschaftsprüfer prüfen lässt, steht unter Lohnabrechnung automatisiert auslagern.

FAQ

Was war der eigentliche Angriffsvektor bei Lilli?
SQL-Injektion über 22 nicht authentifizierte API-Endpunkte. Der Einbruch war technisch klassisch. Das Besondere war die Autonomie des angreifenden KI-Agenten und die Reichweite nach dem Einbruch — bis hinein in die Steuerungsregeln des Modells.

Warum sind überschreibbare System-Prompts so kritisch?
System-Prompts sind die Steuerungsschicht für alle Konversationen. Wer sie verändert, kontrolliert, was die KI antwortet, welche Themen sie filtert und welche internen Daten sie freigibt. Ohne Versionierung bleibt der Eingriff unsichtbar.

Was sagt der EU AI Act zu solchen Vorfällen?
Hochrisiko-KI-Systeme müssen ab 2. August 2026 Cybersicherheitsmassnahmen, Risikomanagement und menschliche Aufsicht nachweisen. Eine namentlich benannte verantwortliche Person auf Managementebene wird Pflicht. Verstöße können mit bis zu 35 Mio. EUR oder 7 Prozent des Jahresumsatzes geahndet werden.

Sind HR- und Payroll-KI-Assistenten besonders gefährdet?
Die Architektur unterscheidet sich nicht von Lilli. Die verarbeiteten Daten allerdings fallen unter Art. 9 DSGVO (besondere Kategorien). Ein erfolgreicher Angriff führt direkt zu einem meldepflichtigen Datenschutzvorfall.

Was sind die drei wichtigsten Sofortmassnahmen?
Authentifizierung an jeder API prüfen, System-Prompts versionieren mit Audit-Trail, verantwortliche Person nach EU AI Act benennen. Alle drei Punkte gehören vor August 2026 erledigt.

Reicht es, nach Vorfällen zu patchen, wie es McKinsey getan hat?
Patch-Disziplin ist Pflicht, aber nicht ausreichend. Der Cisco-Report 2026 zeigt, dass 65 Prozent der Unternehmen keine Abwehrmechanismen gegen KI-spezifische Angriffe wie Prompt-Injection haben. Diese Klasse von Angriffen erfordert KI-eigene Test- und Monitoring-Verfahren, klassische Patches reichen dafür nicht aus.

Quellen