In der IT-Security ist es nötig, den „state-of-play“ zu kennen, damit man (Angriffs-)Szenarien kennt und sich ggf. darauf einstellen kann. Und da hat sich in den letzten Tagen geradezu revolutionäres getan…
Angriff auf HuggingFace
Zu Beginn der 29. KW 2026 stellte HuggingFace, der Betreiber der gleichnamigen Webseite für LLMs einen Security-Vorfall auf „eine begrenzte Zahl interner Datenstrukturen und den Zugriff auf einige technische User“ fest. Nach dem Einbruch in einen Server gelang es dem Angreifer aus dem Server-Node auszubrechen, Cloud- und Cluster-Credentials zu erbeuten und lateral in weitere interne Cluster einzudringen. Nach Darstellung von HuggingFace war der Angriff nicht besonders folgenreich, da es keinen Zugriff auf Nutzerdaten, Modelle oder die Supply-Chain gab.
Viel wichtiger ist die Art des Angriffs…
Autonomous agent framework
Dieser Angriff wurde durch ein Netzwerk eigenständig agierender, lose zusammenhängender Agenten durchgeführt, die viele tausend Aktionen gleichzeitig durchführten. Koordiniert wurden die Angriffe durch einen Schwarm kurzlebiger Command-und-Control Server, welche nach kurzer Zeit ihren Standort (und damit ihre IP) wechselten. HuggingFace vermutet, dass zur Koordinierung ein eigener Harness genutzt wurde und konnte zum Zeitpunkt des Disclosures keine LLM für die Agenten benennen.
Festgestellt wurde der Angriff durch eine eigene KI.
KI-unterstützte Softwareentwicklung nutzt nicht einen, sondern gleich mehrere KI-Agenten, welche an unterschiedlichen Aspekten der Software arbeiten. Bei klar definierten Aufgaben kann so parallel an der Software gebaut werden
Die Steuerung vieler Agenten erfolgt über eine Harness genannte Software. Sie bietet dem menschlichen Nutzer einen Überblick, steuert die Agenten im Detail, bewertet Ergebnisse und stößt weitere Agenten mit neuen Aufgaben an. Bekannte Beispiele beim Coding sind Claude Code oder OpenCode
Moderne IT-Strukturen nutzen eine Vielzahl von Servern und verteilen ihre Daten. Gelingt einem Angreifer die erfolgreiche Kompromittierung eines Servers, versucht er seinen Zugriff durch eine Vielzahl weiterer Angriffe von diesem Server aus zu vergrößern oder sich noch mehr Rechte zu verschaffen. Die dazu verwendeten Skripte und Softwares schicken die erbeuteten Geheimnisse wie zB Passwörter dann zum Command-and-Control Server und bekommen von diesem Befehle mit neuen Angriffszielen und Methoden. Die Malware-Wellen der letzten Jahre konnten häufig durch die Ausschaltung ihrer Command-and-Control Server beendet werden.
Erwarteter Schock
Ein solcher Angriff war zwar in Art und Umfang von der Industrie vorhergesagt worden, ihn jetzt zu sehen stellt aber etwas völlig Neues dar und schockiert viele Akteure in der Security-Szene!
Bislang fehlte die nötige Software für einen solch komplexen und dynamischen Angriff in großen Teilen und auf mehreren Ebenen. Der Angriff nutzt einige Neuentwicklungen, welche eine Erwähnung verdienen:
- Harnesses zum Steuern von mehreren Agenten sind zwar in der Softwareentwicklung mit KI inzwischen gut etabliert (zB Claude Code oder OpenCode), muten außerhalb dieser Nische aber noch exotisch an. Ein Harness zum Steuern von Angreifern ist bislang nicht verfügbar
- bewegliche und unabhängig agierende Command-and-Control Server, welche sich selber wurmartig von einem System auf ein weiteres transferieren und die von ihnen gesteuerten Agenten mitnehmen sind bislang nicht verfügbar
- die von Agenten genutzten LLMs sind bislang nicht in der Lage, Schwachstellen in Servern selbständig zu entdecken und auszunutzen. Neuere Modelle (siehe Claude Mythos) sind expliziten Beschränkungen unterworfen
Wie reagiert HuggingFace?
HuggingFace hat eine Liste von Reaktionen veröffentlicht, die auch wir als Blaupause weitergeben wollen:
- Schließen der erkannten Einfallstore: der Fehler bzw. die Kombination von Fehlern wurde gefixt. Hier hat ein umfassendes Post-Mortem stattgefunden
- Die von dem Angreifer genutzten (und nachinstallierten) Skripte und Softwares wurden von den Nodes und Clustern erntfernt
- Die vom Angreifer genutzten Credentials und Tokens (sowie viele weitere) wurden rotiert
- der Zugang zu den Clustern wurde deutlich eingeschränkt
- Monitoring und Alerting wurden deutlich angezogen
Wie hat HuggingFace den Angriff anlysiert
Die Security-Abteilung von HuggingFace sah sich mehreren Herausforderungen entgegen:
- die „Anomaly-Detection Pipeline“ nutzt eine LLM-basierte Telemetrie, welche nach dem „triage over security“ Prinzip die Angriffe aus dem „täglichen Lärm“ erkennt. Dadurch konnte der Angriff schnell erkannt werden
- für die Analyse der Logs von mehreren tausend Angreifer-Aktionen sollten neue kommerzielle LLMs mittels API genutzt werden. Dies scheiterte jedoch schnell, da die entsprechenden Logs riesig sind und selbstverständlich voller Exploits und Artefakten stecken, die nicht durch die Guardrails (Sicherheitsvorkehrungen) der LLMs erlaubt werden
- stattdessen wurde auf eigenen Maschinen das open-weight Model GLM 5.2 installiert. Der Vorteil war klar: die Analyse funktionierte und keine Informationen über den Angriff oder gar Credentials verließen die Firma
Die erste Erkenntnis: während die Analyse der Daten mit allen öffentlichen LLMs scheiterte, waren die Angreifer offensichtlich frei von solchen Einschränkungen.
Die zweite Erkenntnis: als Verteidiger sollte man vor einem Angriff eine funktionierende eigene LLM aufgebaut haben, die einen ohne Einschränkungen entsprechende Logs anlysieren lässt. Weder will man sich ausgesperrt sehen (auf Grund von Guardrails der kommerziellen LLMs) noch möchte man die eigenen Credentials außerhalb der Firma sehen.

