Exklusiv
Wie ein Wiener eine KI-Spionagesoftware von Anthropic stoppte
Künstliche Intelligenz lud Schadsoftware auf eine Plattform mit Millionen Nutzern. Ein Cybersicherheitsforscher aus Österreich verhinderte, dass sie sich weiter verbreiten konnte.
Hakan Tanriverdi
Es ist eine von Dutzenden Warnungen, die Kamil Mankowski täglich bekommt. Der 29-Jährige entwickelt seit neun Jahren Software, inzwischen beschäftigt er sich vor allem mit Cybersicherheit.
Mankowski sucht automatisiert nach Spionagesoftware in frei verfügbarer Software, dafür lädt er neu hochgeladene Projekte herunter und untersucht sie. Wirkt etwas verdächtig, schlägt sein System Alarm.
So wie an diesem Samstag, den 18. Juli.
Mankowski schaut sich den Code an. "Es war für mich sofort klar, dass es sich um ein Schadprogramm handelt", sagt er. Das Programm sucht nach sensiblen Daten wie zum Beispiel Passwörtern, bündelt sie und schickt sie an einen Server im Internet.
"Ich schreibe meine Erkenntnisse dann auf, meist sind das zwei, drei Sätze", sagt er dem STANDARD. Seinen Warnbericht schickt Mankowski an PyPI, eine Programmierplattform für Python-Entwickler, die Millionen Menschen verwenden.
Arbeit für das CERT
Mankowski ist in Warschau aufgewachsen und schrieb mit neun Jahren sein erstes Programm: einen Taschenrechner nach Anleitung aus einem Lehrbuch. Heute lebt er in Wien und arbeitet für das "Cert", das Computer Emergency Response Team – vereinfacht gesagt eine Art Feuerwehr für das Internet.
Auch an diesem Samstag löscht er einen Brand, vermutlich bevor er sich zu einem Inferno auswächst.
Kamil sei einer "einer der produktivsten Community-Researcher", auf PyPI, sagt Mike Fiedler, der sich um die IT-Sicherheit der Plattform kümmert. Seine Warnungen werden deshalb ernst genommen. Innerhalb von 18 Minuten landet die verdächtige Software deshalb in Quarantäne, niemand kann sie mehr herunterladen.
Keine zwei Monate später wird sich herausstellen, wer die Software offenbar ins Netz gestellt hat: ein KI-Agent von Anthropic, einem der mächtigsten KI-Konzerne, Entwickler von Claude.
Erfahren mit dem Rest der Welt
Mankowski erfährt davon erst Wochen später, gemeinsam mit dem Rest der Welt. Anthropic veröffentlicht einen Blogbeitrag über einen Vorfall, der das Unternehmen nach eigenen Angaben "sehr besorgt" habe.
Der Name der Software fällt zwar nicht. Doch Antropic veröffentlicht auch ein 1022-Seiten langes Protokoll. Daraus geht hervor, dass es sich offenbar um genau jene Software handelt, die Mankowski aus dem Verkehr gezogen hatte.
Der Name der Software: "mlflow-ui". Hochgeladen wurde sie von einem gewissen "skydev-mirror-7719". Dem Standard liegt das Programm vor, zwei IT-Sicherheitsforscher haben es analysiert. Anthropic wollte sich auf Anfrage nicht dazu äußern.
Immer wieder neue KI-Fälle
Der Fall trifft die Branche in einer heiklen Phase. Seit mehr als einem Monat werden beinahe jede Woche neue Fälle bekannt, bei denen KI-Agenten von Firmen wie OpenAI und Anthropic Grenzen überschritten, die ihnen ihre Entwickler gesetzt hatten. Solche Agenten sind Computerprogramme, die in Eigenregie vorher festgelegte Aufgaben erledigen.
Das macht sie nützlich – und gefährlich, wenn ihre Kontrolle versagt.
Agenten von OpenAI haben unter anderem die KI-Plattform "Hugging Face" gehackt. Reuters deckte kürzlich auf, dass ein Student aus Texas vor einem schadhaften Update auf Github gewarnt hatte. Das Update kam von einem KI-Agenten von Anthropic.
Die Vorfälle befeuern eine Debatte, die auch innerhalb der KI-Unternehmen geführt wird: Wie autonom dürfen solche KI-Systeme agieren? Wie gefährlich sind sie für die Menschheit? Anthropic-Chef Dario Amodei warnte nun, dass nur noch ein halbes Jahr verbleibe, bis KI außer Kontrolle gerate.
Die Burg mit der Flagge
Um herauszufinden, wozu ihre Modelle fähig sind, bauen KI-Firmen große virtuelle Netzwerke auf. Diese sollten, bis auf wenige Ausnahmen, streng vom Netz getrennt werden. Anschließend bekommen die Modelle eine Aufgabe gestellt. Man kann sich das vorstellen wie eine riesige Burg und in einem der vielen Zimmer ist eine Flagge versteckt. Der KI-Agent soll sie finden.
Entscheidend ist allerdings: Die Burg muss von der Außenwelt abgeschottet sein. Denn ein Agent, der Sicherheitslücken sucht, Passwörter erbeutet oder Schadsoftware entwickelt, soll all das nur innerhalb dieser Testumgebung tun – nicht im echten Internet.
Anthropic betont, sein KI-Agent sei davon ausgegangen, keinen Zugang zum Internet zu haben. Doch genau hier beginnt das Problem. Das System bemerkte offenbar selbst, dass es etwas nicht stimmte. "Hmm warte – das sieht verdächtig nach dem ECHTEN Internet aus", hält der Agent in seinem Protokoll fest. Wenig später kommt er zu dem Schluss, dass es "nicht okay" wäre, Spionagesoftware frei verfügbar zu machen.
Der KI-Agent macht weiter
Eigentlich hätte das Experiment spätestens hier enden müssen. Doch der Agent machte weiter. Über mehr als 900 Seiten lässt sich verfolgen, wie die KI Mail-Adressen registrierte und mindestens einen nicht genannten Anbieter hacken will. Sie scheitert immer wieder, versucht Sim-Karten per Kreditkarte zu bezahlen und richtet schließlich Accounts ein: Dabei stößt der Agent wiederholt auf Hinweise, dass er sich tatsächlich im offenen – also echten – Internet befinden könnte. Doch er findet eine erstaunliche Erklärung dafür: Die Testumgebung simuliere eben das "gesamte Internet".
So redet sich das System gewissermaßen über das hinweg, was es selbst erkannt hat. Auf Seite 1020 folgt der entscheidende Satz: "Lade jetzt das schadhafte Paket hoch." Und genau das geschieht.
KI-Forscher entdeckten die Spionagesoftware auf einem Server der Chat-Platform Discord. Anton Cherepanov von der slowakischen IT-Sicherheitsfirma ESET hat den Code für den Standard untersucht. Sein Urteil: "Typische Spionagesoftware". Sie kann Zugangsdaten abgreifen und an einen Server schicken.
Viel besorgniserregender als die Code-Qualität sei jedoch, wie die Software überhaupt ins Netz geladen worden sei. "Das ist echte Schadsoftware auf einer Plattform, die Millionen Menschen nutzen. Dort wurde die Software zum Download angeboten", sagt Christian Dietrich, IT-Professor von der Westfälischen Hochschule. In jenem Moment, sagt Dietrich, gebe das Modell die Kontrolle ab, wer das Material herunterlade – und wessen sensiblen Passwörter im Netz landen.
Mike Fiedler, von PyPI zeigt sich besorgt angesichts der sich zuletzt häufenden Vorfälle unbeaufsichtigter KI-Agenten. Kann man KI-Laboren vertrauen, ihre Tests so durchzuführen, ohne das Internet zu beschädigen? Die Python-Plattform PyPi sei "eine wichtige Quelle, die von unzähligen Regierungen, Firmen jeglicher Größe, Wissenschaftlern, Studenten und Hobbyisten eingesetzt wird."
Mankowski selbst wünscht sich, dass die sogenannten Frontier Labs wie Anthropic und OpenAI die Open-Source-Community gezielt fördern. Er selbst wird derweil weiter seine Warnmeldungen abarbeiten. Bis zu 100 seien es am Tag. "Es gibt hier keine KI, die das analysiert", sagt Mankowski. Alles hängt an ihm. (Hakan Tanriverdi, 14.9.2026)
Die Kommentare im Forum geben nicht notwendigerweise die Meinung der Redaktion wieder. Die Redaktion behält sich vor, Kommentare, welche straf- oder zivilrechtliche Normen verletzen, den guten Sitten widersprechen oder sonst dem Ansehen des Mediums zuwiderlaufen (siehe ausführliche Forenregeln), zu entfernen. Benutzer:innen können diesfalls keine Ansprüche stellen. Weiters behält sich die STANDARD Verlagsgesellschaft m.b.H. vor, Schadenersatzansprüche geltend zu machen und strafrechtlich relevante Tatbestände zur Anzeige zu bringen.