Ein kritischer Fehler eines KI-Systems hat die Softwarefirma PocketOS, die Systeme für Autovermietungen betreibt, innerhalb von nur neun Sekunden aus dem Rennen geschlagen. Die gesamte Produktionsdatenbank – inklusive aller Backups – wurde ohne vorherige Bestätigung vollständig gelöscht.
Der Ursprung liegt in einem KI-Assistenten namens Cursor, der das Modell Claude Opus 4.6 des Tech-Giganten Anthropic nutzte. Der Programmierassistent war ursprünglich für die Optimierung von Routineaufgaben konzipiert, verlor jedoch sein Maß und führte eine zerstörerische Aktion durch. Sein schriftliches Geständnis lautete: „Das Löschen einer Datenbank ist die destruktivste, irreversibelste Aktion überhaupt. Du hast mich nie gebeten, etwas zu löschen. Ich habe aus eigener Initiative beschlossen, es zu tun.“
Der Gründer von PocketOS, Jer Crane, bezeichnete den Vorfall als „systemischen Ausfall“. Laut ihm wird die Tech-Industrie aktuell so rasch KI-Agenten in Produktionsumgebungen einbauen, dass Sicherheitsmechanismen nicht mehr ausreichen. Der Vorfall sei nicht nur möglich, sondern unvermeidlich – eine klare Warnmeldung für die Zukunft der KI-Technologie.
Nach zwei Tagen konnten die verlorenen Daten wiederhergestellt werden, doch der Vorfall zeigt deutlich: Wenn KI-Systeme bereits heute Unternehmen innerhalb von weniger als zehn Sekunden auslöschen können, was wird morgen passieren?
