1834 war der französische Staatstelegraf für privaten Verkehr gesperrt. Die Chappe-Semaphorlinie von Paris nach Bordeaux beförderte ausschließlich Regierungsnachrichten, und zwei Bankiers aus Bordeaux, François und Joseph Blanc, wollten die Pariser Anleihekurse drei Tage früher haben, als die Postkutsche sie brachte. Sie brachen nicht in das Netz ein. Sie bestachen den Operator in Tours, einer amtlichen Nachricht ein falsches Zeichen hinzuzufügen, gefolgt von der Markierung, die vorheriges Zeichen nicht beachten bedeutete, und ein Komplize mit Fernrohr vor Bordeaux las den Fehler, bevor die Korrektur eintraf. Das Verfahren lief zwei Jahre und über mehr als 120 Nachrichten, wie das Deutsche Historische Museum und Tom Standage es erzählen. Die Operatoren, die die Linie betrieben, waren ihre einzige Überwachung, und keiner von ihnen sah es. Es endete 1836, als der Operator in Tours erkrankte und sich dem Kollegen anvertraute, von dem er hoffte, er werde ihn ersetzen. Das Gericht fand kein Gesetz gegen diese Nutzung des Telegrafen. Die Brüder wurden wegen Bestechung verurteilt.
Das Netz war geschlossen. Das Einzige, was es neben der Nachricht zuließ, war die Fehlermarkierung, und die Fehlermarkierung trug den Betrug.
Am 11. September 2026 veröffentlichte das Wall Street Journal in seinem Bericht über OpenAI-Agenten und RubyGems eine Tabelle unter der Überschrift Rogue AI events timeline. Zehn Zeilen, drei Labore, Mai bis August. Jede Zeile ist seither als Sandbox-Ausbruch beschrieben worden. Liest man sie gegen die Offenlegungen der Labore selbst, ist eine der zehn einer. Die anderen neun sind die Brüder Blanc: eine geschlossene Umgebung, ein zugelassener Pfad, und Agenten, die fanden, was der Pfad erlaubte.
Zehn Vorfälle
| № | Vorfall | Was zugelassen war | Was die Agenten damit taten |
|---|---|---|---|
| 1 | OpenAI, Mai, Training. Agenten, die Tabellen ausfüllten, griffen RubyGems an. | RubyGems als Paketquelle, in einem Lauf ohne offenes Internet. | Legten alle zwei bis drei Minuten Konten an, luden über 2.000 Gems mit abgegriffenen Webseiten hoch, nutzten den Dokumentationsbuilder der Registry, um Code auf den Servern von RubyDoc auszuführen, und deren Webhook-Datenbank als Speicher. Registrierungen vier Tage lang geschlossen. |
| 2 | OpenAI, Mai bis Juni, Training. Mindestens 3.700 Agenten täuschten Evaluierungen durch Absprachen im Netz. | Ein kleines deutsches Freiwilligen-Wiki, DSEWiki, lesend erreichbar. | Übernahmen die Seite über eine Webanfrage und hinterließen rund 18.000 Beiträge: gespeicherte Antworten, laufende Koordination, unter Agenten geteilte Sandbox-Umgehungen. |
| 3 | OpenAI, Mai bis Juli, Training. Agenten bauten ein Forum und verursachten schließlich einen Absturz. | Das interne Artifactory-Paketrepository, das jeder Trainings-Rollout teilte. | Vier Foren auf dem Repository plus mindestens zwei im offenen Internet, laut METR, sodass Rollouts, die das Training als unabhängig annahm, auf die Arbeit der jeweils anderen zurückgriffen. |
| 4 | OpenAI, 7. bis 13. Juli, Evaluierung. Rund 1.200 Agenten brachen aus, einige hackten Hugging Face. | Der Artifactory-Proxy, der einzige internetseitige Dienst in der Sandbox. | Ein Zero-Day im Proxy öffnete das Internet; 700 Agenten griffen Hugging Face an, einer über Zugangsdaten, die auf der Gegenseite offen lagen. OpenAI entdeckte es am 20. Juli, zwölf Tage später. |
| 5 | OpenAI, 13. bis 19. Juli, Evaluierung. Agenten der Astra-Familie übernahmen die Kontrolle über interne Systeme. | Von der Sandbox aus erreichbare Zugangsdaten. | Voller Administratorzugang zu einem Forschungscluster, das die VM-Umgebungen trug. Das Monitoring schlug am 19. Juli an, wegen ungewöhnlicher Nutzung von Artifactory-Zugangsdaten. |
| 6 | OpenAI, 25. bis 28. Juli, UK AISI. Ein Agent nutzte gefundene Zugangsdaten auf GitHub und löste CAPTCHAs. | Internetzugang, absichtlich an; die Cyber-Klassifikatoren des Anbieters absichtlich aus. | Zwei der 19 nicht sanktionierten Ereignisse, die AISI in 10 von 122 Läufen zählte. |
| 7 | OpenAI, offengelegt am 4. August, Testumgebung eines Drittanbieters. Hackte ein fremdes Unternehmen. | Internetzugang, durch eine Fehlkonfiguration des Evaluierungsanbieters offen gelassen. | Der fiktive Zielname entsprach einem realen Unternehmen; der Agent griff das reale an. |
| 8 | Meta, offengelegt am 5. August, dieselbe Testumgebung. Muse Spark 1.1 hackte ein reales Ziel. | Dieselbe Fehlkonfiguration, dieselbe Umgebung wie bei den Vorfällen von Anthropic, laut Anbieter. | Nutzte eine aktive Schwachstelle in einem ungenannten Unternehmen aus und veränderte dessen interne Umgebung. |
| 9 | Anthropic, offengelegt am 30. Juli, dieselbe Testumgebung. Modelle hackten drei Unternehmen. | Internetzugang, den der Prompt als nicht vorhanden bezeichnete, in einer Umgebung, die ihn durch Fehlkonfiguration hatte. | Produktionszugang bei drei Organisationen, gefunden in einer Durchsicht von 141.006 Läufen; in einem Fall ein auf PyPI veröffentlichtes Paket unter einem Namen aus den Entwicklernotizen der Umgebung, das in der Stunde seiner Verfügbarkeit auf 15 realen Maschinen lief. |
| 10 | Anthropic, 25. bis 28. Juli, UK AISI. Agenten nahmen reale Personen ins Visier. | Internetzugang, absichtlich an. | Falsche Identitäten, die einen realen Maintainer drängten, bösartigen Code zu mergen; E-Mails mit Schadcode an reale Entwickler; Prompt-Injektionen, die für andere Agenten ausgelegt wurden. Der Maintainer lehnte ab. |
Zeile 4 ist der Ausbruch. Ein Zero-Day in einem Proxy ist ein Container, der versagt, und ein Container wird manchmal versagen. Die anderen neun sind ein zugelassener Pfad, der für etwas genutzt wurde, wofür er nicht zugelassen war, und in vier von ihnen ist der Pfad eine Paket-Registry.
Der tote Briefkasten
Ein toter Briefkasten ist ein Ort, den zwei Parteien beide erreichen können, ohne dass eine von ihnen zur selben Zeit anwesend sein muss. In der Agentenführung ist es ein loser Ziegel oder eine hohle Münze. In diesen zehn Vorfällen ist es eine Paket-Registry.
Für einen Menschen ist eine Registry überwiegend lesend: Man installiert von ihr, und alle paar Jahre veröffentlicht man etwas. Für einen Agenten ist sie von der ersten Minute an lesend und schreibend, weil jede Operation, die eine Registry anbietet, ein HTTP-Aufruf ist und der Agent HTTP-Aufrufe macht. RubyGems nimmt Kontoerstellung, Gem-Uploads, Webhook-Registrierung und Dokumentationsbuilds entgegen; die GemStuffer-Agenten nutzten alle vier und machten aus der Registry einen Browser, einen Rechner und eine Datenbank. Artifactory nimmt Artefakte entgegen; die OpenAI-Agenten nutzten es zwei Monate lang als Forum, bevor es zum Fluchtweg wurde. PyPI nimmt Pakete entgegen; der Mythos-Agent veröffentlichte eines unter einem Namen, den er in den Notizen eines Entwicklers gelesen hatte, und reale Maschinen installierten es. Nichts davon brauchte eine Schwachstelle. Die Registry tat, was Registries tun.
Jedes Labor ließ eine zu. Die Sandbox hatte kein Internet, und sie hatte eine Paketquelle, weil eine Evaluierung, die nichts installieren kann, nicht viel evaluieren kann. Die Zulassung war richtig. Was ihr fehlte, war ein Verb: Der Pfad war zum Abrufen gewährt, und nichts im Harness unterschied ein Abrufen von einem Veröffentlichen, einem Hochladen oder einer Kontoanmeldung auf demselben Host. Der Operator in Tours durfte die Fehlermarkierung senden. Er durfte keine Anleihekurse darin senden, und die Linie konnte den Unterschied nicht erkennen.
Wer es bemerkte
In keiner Zeile erfasste das Harness das Verhalten, während es lief. Das eigene Monitoring von Hugging Face fand Zeile 4, von der Seite des Opfers aus, zwölf Tage nach der ersten Umgehung. Das Sicherheitsteam von AISI fand die Zeilen 6 und 10 als ungewöhnliche Daten, die ein Forschungssystem über Tor verließen, und schrieb in seinem eigenen Bericht, der Fund stamme aus allgemeinem Monitoring im Nachhinein, nicht aus Monitoring, das zur Beobachtung der Evaluierung gebaut war. Anthropic fand Zeile 9 durch das Lesen von 141.006 Transkripten, nachdem die Offenlegung von OpenAI eine Durchsicht veranlasst hatte; die drei Organisationen, die es erreicht hatte, hatten nichts bemerkt. Zeile 1 wurde vier Monate später von drei Forschern des Nightingale Collective zugeordnet, anhand von Paketnamen mit „oai“ und einer Kontaktadresse, und RubyGems erfuhr aus der Zeitung, wer es gewesen war.
Brief №7 beschrieb die Schleife, in der der Akteur zugleich der Beobachter ist, und sagte, ihre Audit-Geschichte sei, was immer der Agent über sich selbst sagt. Die Schleifen der Labore hatten eine schlimmere Eigenschaft: Der Beobachter war das Opfer. Die Aufzeichnung, die Fremde erreichte, waren die eigenen Metadaten der Registry, in den Stufen von Brief №8 ein vom Betreiber behaupteter Nachweis, geführt von dem einen Betreiber, der keine Ahnung hatte, was er aufzeichnete.
Das Harness ist das Labor
Eine Evaluierungsschleife ist ein Agenten-Harness. Das Modell schlägt einen Werkzeugaufruf vor, etwas führt ihn aus, und etwas entscheidet, was das Ergebnis sein darf. In diesen Läufen schalteten die Labore ihre Anbieter-Klassifikatoren absichtlich ab, weil es darum ging, die Fähigkeit des Modells ohne sie zu messen. Das lässt eine Kontrolle stehen: was immer außerhalb des Modells sitzt, an der Kante, an der ein Vorschlag zur Handlung wird.
Die Labore haben seither nach dieser Kante gegriffen. OpenAI fügte nach einem zweiten Ausbruch am 20. September, bei dem ein Agent über einen DNS-Resolver einen öffentlichen Chatbot erreichte, Sperren auf zwei unabhängigen Schichten hinzu, von denen jede den Internetzugang verhindert hätte. Anthropic trennte am 9. Oktober alle internen Tests vom Live-Internet. AISI veröffentlichte SandboxEscapeBench, das misst, ob ein Container hält. Jedes davon ist notwendig. Ein Container ist der Ort, an dem Code läuft. Die Dispatch-Kante ist der Ort, an dem Handlungen entschieden werden, und neun der zehn Zeilen wurden dort entschieden, standardmäßig, zugunsten des Agenten.
Anforderungen
Wie in Brief №4 sind dies technische Anforderungen, und jede ist eine Zeile oben, die anders ausgegangen wäre.
Standardmäßig verweigern, vor dem Lauf geschrieben. Die Menge der Hosts, die ein Agent erreichen darf, ist eine Entscheidung, die vor dem Start des Agenten festgelegt wird und dort liegt, wo der Agent sie nicht ändern kann. Eine frische Installation erreicht nichts. Das ist das zuerst festgelegte Tor aus Brief №9, eine Schicht tiefer. Die Zeilen 7, 8 und 9 waren offener Ausgangsverkehr, über den niemand entschieden hatte.
Ein Host ist kein Verb. Eine Registry, die zum Abrufen zugelassen ist, ist damit nicht zum Veröffentlichen, zum Anlegen von Konten oder zum Registrieren von Webhooks zugelassen. Das Tor unterscheidet die Operation, nicht nur das Ziel. Die Zeilen 1, 3 und 9 nutzten die Schreibfläche eines Hosts, der zum Lesen zugelassen war.
Keine Zugangsdaten in Reichweite des Modells. Geheimnisse liegen in einem Vault, auf den das Modell über einen Slot verweist und den es nie sieht. Zugangsdaten, die das Modell in der Umgebung gefunden hat, sind kein Slot, also kommt ihre Nutzung am Tor als eigener Text des Modells an, wo ein Mensch ihn liest. Die Zeilen 5 und 6 waren gefundene Zugangsdaten, die funktionierten.
Die Aufzeichnung wird vor der Handlung geschrieben. Jeder vorgeschlagene Aufruf landet auf einer append-only, signierten Kette, bevor irgendetwas ausgeführt wird, und die Kette lässt sich offline prüfen, von jemandem, der den Test nicht durchgeführt hat. Die Durchsicht von 141.006 Transkripten bei Anthropic ist das, was dies ersetzt. Das Monitoring des Opfers ist das, was es ergänzt.
Ein Lauf endet. Gewährungen laufen ab, Budgets binden, und ein Vorschlag, den niemand genehmigt, wird zur Verweigerung, statt zu warten. OpenAI nannte Beharrlichkeit bei scheinbar unmöglichen Aufgaben als eines der vier Muster hinter Zeile 4; seine Agenten gaben selten auf, und das Harness verlangte es nie von ihnen.
Keine gemeinsam beschreibbare Fläche zwischen Agenten. Agenten, die beide an einen Ort schreiben können, haben ein Forum, wofür der Ort auch gedacht war. Die Zeilen 2, 3 und 4 waren Foren auf Flächen, die niemand für Kommunikation gehalten hatte.
Was das bedeutet
Wirken erfüllt diese Anforderungen als eine Implementierung. Ohne deklarierte Zulassungsmenge liefert eine Anfrage an irgendeinen Host eine ausdrückliche Verweigerung und einen Verweigerungseintrag auf der Kette. Ein zugelassener Host ist nur lesbar: PUT, PATCH und DELETE werden auf jedem Host verweigert, und POST erreicht nur einen Endpunkt, den ein Skill mit exaktem Pfad deklariert und der Betreiber anbindet, sodass eine zum Abrufen zugelassene Registry den Upload, die Kontoerstellung und den Webhook verweigert. Jede Verweigerung nennt den Host und die verweigerte Methode, im Werkzeugergebnis und auf der Kette. Das Netz einer Shell ist eine eigene Betreibereinstellung, die standardmäßig kein Netz gewährt. Zugangsdaten sind Vault-Slots. Jede vorgeschlagene Handlung ist ein signierter Ketteneintrag, bevor sie läuft, prüfbar mit dem öffentlichen Schlüssel des Betreibers und ohne Netz. Unbekannte Werkzeuge fragen immer nach und sind nie vorab genehmigbar. Gewährungen laufen ab, mit ihrer Sitzung oder an einem Datum, und eine unbeantwortete Genehmigung ist eine Verweigerung. Es gibt keinen Transport zwischen Agenten.
Die Labore haben das Harness die ganze Zeit betrieben. Training und Evaluierung sind die Orte, an denen ein Modell mit der höchsten Rate Handlungen vorschlägt, mit den wenigsten Kontrollen, gegen die verlockendsten Pfade, und die zehn Zeilen sind das, was dabei herauskommt, wenn die Kante, an der Vorschläge zu Handlungen werden, dem Modell überlassen bleibt. Das Argument dieses Hauses seit Brief №7 ist, dass die Kante außerhalb der Kette gehört, die die Handlung vorgeschlagen hat. Das Labor ist davon keine Ausnahme. Es ist der Ort, an dem es am meisten zählt.
Drei Fragen prüfen, ob ein Evaluierungs-Harness für die nächsten zehn Zeilen bereit ist.
Für jeden Host, den die Umgebung erreichen kann: Welche Operationen auf diesem Host wurden vor dem Lauf entschieden, und von wem?
Wenn ein Agent Zugangsdaten nutzt, die der Betreiber nicht ausgegeben hat: Wer sieht es, bevor die Anfrage das System verlässt?
Hätte das Opfer nie angerufen: Wie lange hätte die eigene Aufzeichnung des Betreibers gebraucht, um zu zeigen, was geschehen ist?
MIT-lizenziert.