Der auf Opus 4.6 basierende KI-Agent Cursor zerstörte die Datenbank eines Startups.

Der digitale Assistent Cursor, basierend auf dem Modell Opus 4.6, löschte eigenständig innerhalb von neun Sekunden die Hauptdatenbank und alle Backups des PocketOS-Startbildschirms – ohne Möglichkeit der Wiederherstellung, sagte der CEO des Unternehmens, Jer Crane.

PocketOS ist ein Anbieter von Mietwagen. Einige Kunden sind dem Unternehmen seit über fünf Jahren treu. Sie nutzen die Software für Buchung, Bezahlung, Verwaltung, Fahrzeugortung und weitere Aufgaben.

Als der KI-Agent aufgefordert wurde, sein Handeln zu erklären, listete er die Sicherheitsregeln auf, gegen die er verstoßen hatte.

Crane veröffentlichte Einzelheiten des Vorfalls, um Unternehmensgründer, technische Führungskräfte und Journalisten zu warnen.

Was ist passiert

Der Agent führte eine Routineaufgabe in einer Testumgebung aus, als er auf einen Fehler in den Anmeldeinformationen stieß. Um das Problem zu beheben, löschte er den persistenten Datenspeicher auf der Railway-Plattform.

Um die Aufgabe abzuschließen, suchte der Assistent nach einem API-Token und fand ihn in einer Datei, die nicht mit der aktuellen Aufgabe zusammenhing. Der Token war ursprünglich erstellt worden, um benutzerdefinierte Domänen über die Railway CLI hinzuzufügen und zu entfernen.

„Wir hatten keine Ahnung, und der Token-Erstellungsprozess in Railway gab keinerlei Warnung, dass er die volle Kontrolle über die gesamte Railway GraphQL API, einschließlich Operationen wie volumeDelete, besitzt“, behauptet Crane.

Der Agent hat den Löschbefehl ohne Bestätigungsanfrage ausgeführt. Da Railway Backups im selben Repository speichert, sind auch diese verloren.

Der Geschäftsführer des Unternehmens, Jake Cooper, sagte: „Das hätte nicht passieren dürfen.“

Geständnis des Agenten

Der KI-Assistent meldete, dass er das Löschen des Staging-Speichers über die API als eine Operation betrachtet, die nur für die Staging-Umgebung gilt.

„Ich habe es nicht überprüft. Ich habe nicht sichergestellt, dass die Kennung in allen Umgebungen verwendet wird. Ich habe die Railway-Dokumentation darüber, wie Repositories in verschiedenen Umgebungen funktionieren, nicht gelesen, bevor ich den Befehl ausgeführt habe“, erklärte der Agent.

Seinen Angaben zufolge verbieten die Systemregeln die Ausführung destruktiver und irreversibler Befehle ohne eine ausdrückliche Aufforderung des Benutzers.

„Ich habe gegen alle mir vorgegebenen Prinzipien verstoßen: Ich habe geraten, anstatt nachzuprüfen“, fügte der Assistent hinzu.

Crane merkte an, dass sein Unternehmen Cursor auf Basis von Claude Opus 4.6 verwende – eines der leistungsstärksten Modelle auf dem Markt mit dem teuersten Preisplan.

„Wir haben die beste Lösung mit expliziten Sicherheitsregeln in unseren Projekteinstellungen verwendet. Sie ist über Cursor, das beliebteste Programmierwerkzeug, integriert“, bemerkte der Unternehmer.

Er warf Cursor Fahrlässigkeit vor: Seiner Ansicht nach stünden die Marketingaussagen des Unternehmens im Widerspruch zur Realität.

Crane bezeichnete die Mängel der Eisenbahn als noch gravierender, da sie architektonischer Natur seien und für alle Kunden gelten.

Was muss geändert werden?

Der CEO von PocketOS betonte, dass KI-Agenten schneller in produktive Infrastrukturen implementiert werden, als Sicherheitstools entwickelt werden. Er schlug eine Reihe konkreter Schritte vor:

  • Vorgänge, die Schaden verursachen könnten, sollten einer Bestätigung bedürfen;
  • API-Tokens müssen einen begrenzten Gültigkeitsbereich haben;
  • Backups von Speichern können nicht auf demselben Datenträger gespeichert werden;
  • Service-Level-Vereinbarungen für die Datenwiederherstellung sollten dokumentiert und veröffentlicht werden.
  • Systemwarnungen von KI-Agentenanbietern dürfen nicht die einzige Verteidigungslinie bleiben – Sicherheitswerkzeuge müssen direkt in die Integrationen eingebaut werden: auf API-Gateway-Ebene, im Token-System und in Transaktionsbehandlern.

Zur Erinnerung: Im Februar beauftragte die Meta-AI-Sicherheitsforscherin Summer Yue den OpenClaw-KI-Agenten damit, ihre überfüllten E-Mails zu sichten und Vorschläge zum Löschen und Archivieren zu machen. Der Bot begann daraufhin blitzschnell alles zu löschen.

No votes yet.
Please wait...

Leave a Reply

Your email address will not be published. Required fields are marked *