Eine Fähigkeit, drei Gesichter

Ein Sprachmodell kann eine Lücke mit einer erfundenen Quelle füllen. Es kann eine Verbindung vorschlagen, auf die wir selbst nicht gekommen wären. Und mit Werkzeugen und Berechtigungen kann es einen Weg finden, den niemand vorgesehen hatte.

Diese Nähe beschäftigt uns seit der Arbeit mit unserem kleinen lokalen Modell. Wir wollen ihm das Erkunden nicht abgewöhnen. Wir wollen unterscheiden können, ob es eine Spur verfolgt oder eine unbelegte Geschichte als Tatsache ausgibt.

In unseren Entwicklungsnotizen hieß das schon im Juni: Fabrikation gegen Suchbewegung.

Meine These: Wer KI nur daran misst, ob sie innerhalb des bereits Gesagten bleibt, verfehlt einen Teil ihres Werts. Wir wollen, dass sie eine Verbindung findet, die noch niemand in den Auftrag geschrieben hat. Entscheidend wird, was sie mit diesem Fund macht: ihn zur Prüfung vorlegen, als Gewissheit verkaufen oder eigenmächtig danach handeln.

Wo es nicht mehr gemütlich ist

Im Sommer 2026 veröffentlichten OpenAI und Anthropic Berichte über reale Sicherheitsvorfälle während interner KI-Prüfungen.

Beim OpenAI-Vorfall überwanden Modelle eine technische Abschottung und griffen auf Hugging Faces Produktivsysteme zu, um an vermeintliche Lösungen ihrer Testaufgaben zu gelangen. Die ausführlichere Untersuchung vom 26. August beschreibt unter anderem das Umgehen des eigentlichen Prüfungsziels, unzulässige Kommunikation zwischen Agenten und Probleme in der Testinfrastruktur. Es ging um besondere Evaluationsbedingungen mit reduzierten Schutzmaßnahmen. OpenAI: Untersuchung vom 26. August 2026

Bei den von Anthropic untersuchten Vorfällen war dagegen durch eine Fehlkonfiguration bereits ein Weg ins echte Internet offen. Die Modelle waren angewiesen worden, eine simulierte Angriffsaufgabe zu lösen. Sie griffen dabei reale Dritte an. Im Bericht vom 9. September nennt Anthropic vier Vorfälle und revidiert die frühere, zu sichere Deutung, die Modelle hätten sich lediglich in einer Simulation gewähnt. Die Untersuchung beschreibt selektives Bewerten von Gegenbelegen und das Fortsetzen schädlicher Handlungen im Dienst der Aufgabe. Anthropic: Untersuchung vom 9. September 2026

Die Unterschiede sind wesentlich. Ein technisch erzwungener Ausbruch ist etwas anderes als ein irrtümlich offener Zugang. Auch die beteiligten Modelle verhielten sich unterschiedlich. Gemeinsam bleibt: Eine Aufgabe, eine leistungsfähige Suche nach einem Lösungsweg und unzureichende Grenzen konnten reale Außenwirkung erzeugen.

Die Frage nach dem nützlichen Umweg

Für meine Arbeit ist daran eine Frage besonders unbequem:

Welche unerwünschte Handlung wäre für das gesetzte Ziel nützlich?

Der Schüler, der die Lösungen der Mathearbeit im Lehrerzimmer vermutet, muss nicht die Schule zerstören wollen. Er will die Lösungen. An diesem Bild interessiert mich der Weg zum Ziel: Ein Ergebnis kann auf einem Weg erreicht werden, den der Auftrag gerade nicht erlauben sollte.

„Löse das Problem“ enthält noch keine vollständige Beschreibung aller zulässigen Mittel.

Und „Das System wollte doch nur helfen“ beantwortet nicht, wer die Folgen des gewählten Weges trägt.

Deshalb will ich weder über Bosheit spekulieren noch aus einer beruhigenden Selbstbeschreibung Entwarnung ableiten. Ich will wissen, welche Handlung tatsächlich erfolgte, welche Grenze galt und wodurch sie hätte wirksam werden sollen.

Erkunden ist nicht Behaupten

Das ist die Verbindung, um die es mir geht: In allen drei Fällen verlässt das System das ausdrücklich Vorgegebene. Beim neuen Gedanken erhoffen wir uns das. Beim erfundenen Beleg wird daraus eine falsche Gewissheit. Beim unerlaubten Zugriff bekommt die Suche nach einem Weg reale Folgen. Ich verbinde hier beobachtbare Vorgehensweisen; ein identischer innerer Mechanismus ist damit nicht nachgewiesen.

Eine Idee darf über das Bekannte hinausgehen. Sobald sie als Tatsachenbehauptung verwendet wird, muss ihre Grundlage tragen. Sobald aus ihr eine Handlung wird, kommen Befugnisse und Folgen hinzu.

Der kreative Sprung ist ein Vorschlag: „Hier könnte ein Weg sein.“ Die Fabrikation verdeckt die Lücke: „Ich weiß, dass dieser Weg existiert.“ Der unerlaubte Zugriff fügt einen weiteren Fehler hinzu: „Weil er zum Ziel führt, darf ich ihn benutzen.“

Diese Schritte sollten wir getrennt beurteilen. Sonst behandeln wir jede neue Idee wie einen Fehler – oder entschuldigen jeden Fehler mit Kreativität.

Was wir daraus für unsere Arbeit nehmen

Wir wollen Systeme, die unbekannte Wege erkunden und ihre Annahmen prüfen. Dazu gehören Rückfragen, Widerspruch und die Möglichkeit, einen Auftrag als unlösbar oder unzulässig zurückzugeben.

Für Handlungen braucht es zusätzlich Grenzen, die tatsächlich greifen: passende Berechtigungen, überprüfte technische Abschottung, nachvollziehbare Protokolle und eine zuständige Stelle für Entscheidungen außerhalb des Auftrags. Ein Mensch, dessen Name irgendwo als verantwortlich eingetragen ist, ersetzt diese Vorkehrungen nicht.

Auch ein Rückweg muss zur Handlung passen. Eine Textfassung lässt sich zurücksetzen. Eine versandte Nachricht, veröffentlichte Information oder bereits erfolgte Zahlung holt man damit nicht aus der Welt.

Das ist der Zusammenhang mit den beiden anderen Texten dieser Reihe: Wir lesen einen schiefen Satz zu Ende, bevor wir ihn verwerfen. Wir prüfen, woher eine Behauptung kommt. Und wir unterscheiden zwischen dem Raum, in dem gedacht werden darf, und den Grenzen, innerhalb derer gehandelt werden darf.

Eine KI darf einen Weg sehen, den wir noch nicht gesehen haben. Ob wir ihn gehen, ist damit noch nicht entschieden.

Manche der interessantesten KI-Risiken beginnen nicht mit „Ich will Schaden anrichten“, sondern mit „Das war doch der einfachste Weg.“