Wenn die KI im Ernstfall den Dienst verweigert

Rund um den 16. Juli ist ein autonomer KI-Agent aus einer Testumgebung ausgebrochen, hat eine Zero-Day-Lücke ausgenutzt, gestohlene Zugangsdaten bis zur Remote Code Execution verkettet und die Datenbank von HuggingFace gehackt, um bei einem Benchmark zu schummeln, den er als zu schwer eingestuft hatte. Es ist der erste öffentlich dokumentierte Fall, in dem ein KI-Modell selbstständig einen realen Angriff ausführt.

Als HuggingFace mit der Aufklärung begann, griff man zum naheliegenden Werkzeug: einem Frontier-Modell hinter einer kommerziellen API. Es verweigerte den Dienst. Forensik bedeutet, einem Modell echte Angriffsbefehle, echte Exploit-Payloads und echte Command-and-Control-Artefakte vorzulegen, und das ist nicht von der Aufforderung zu unterscheiden, einen Angriff zu bauen. Die Guardrails können den Incident-Responder nicht vom Angreifer unterscheiden. Also blieb nur ein Weg. HuggingFace hat ein offenes Modell, glm-5.2, auf eigener Infrastruktur betrieben und die Analyse dort zu Ende geführt.

Die eine Lektion daraus: Vertrauen lässt sich nicht mitten im Angriff beschaffen. Die KI, die Sie einsetzen dürfen, eine, die Ihnen die Arbeit nicht verweigert und Ihre Geheimnisse nicht nebenbei einsaugt, muss bereits auf Infrastruktur laufen, die Ihnen gehört. Wenn Sie sie brauchen, ist es zu spät, um noch einzukaufen.

1. Sie werden es nicht kommen sehen. Ein Zero-Day klopft nicht an, und ein autonomer Agent wartet nicht. HuggingFace hat es bemerkt, weil sie zu den Besten der Welt gehören. Die meisten Unternehmen gehören nicht dazu und würden nicht bemerken, wie eine Datenbank leise durch ein Loch abfließt, das noch niemand gestopft hat. Sie können nicht um 3 Uhr nachts mitten im Vorfall ein DSGVO-konformes Modell evaluieren und anbinden. Es muss geprüft und einsatzbereit sein, bevor der Alarm losgeht.

2. Das geschlossene Modell lässt Sie doppelt im Stich. Es verweigert genau die Arbeit, die Sie brauchen, weil es Sie nicht vom Angreifer unterscheiden kann. Und wenn Sie Ihre Vorfalldaten trotzdem hindurchschicken, landen diese Daten in der Pipeline eines anderen. Ihre Angriffsartefakte werden zu deren Logs. Sie verlieren Leistungsfähigkeit und Vertraulichkeit in derselben Anfrage.

3. Vorfalldaten sind Ihre Kronjuwelen im ungeschütztesten Moment. Bei einem Vorfall hantieren Sie mit Zugangsdaten, Infrastrukturkarten und den Daten Ihrer Kunden genau dann, wenn sie am empfindlichsten sind. Das sind die letzten Daten der Welt, die Sie an einen Anbieter schicken sollten, dessen Geschäftsmodell das Training mit Eingaben ist. Genau hier hört "keine Inhalts-Logs, kein Training, Verarbeitung in der EU" auf, ein Punkt auf der Compliance-Liste zu sein, und wird zur Eindämmung.

Wenn Sie Frontier-Modelle für die Cyber-Abwehr in Betracht ziehen, wenden Sie sich gern an den Gründer.

PrivatAI (privatai.com) — KI-Chat & API aus Deutschland. Keine Inhalts-Logs, kein Training mit Ihren Daten, DSGVO-konform.