Börsenprospekte sind normalerweise trockene Dokumente. Der von Anthropic enthält jedoch einen Abschnitt, der eher an eine Grundsatzdebatte über die Zukunft der KI erinnert. Wie TechCrunch berichtet, warnt das Unternehmen in der überarbeiteten Fassung seines S-1, es könne bald eine Schwelle seiner eigenen Sicherheitsrichtlinie erreichen, die für „dramatisch beschleunigten Fortschritt durch KI“ steht. Gemeint ist im Kern das, was in der Forschung als rekursive Selbstverbesserung bezeichnet wird.

Was hinter dem Begriff steckt

Rekursive Selbstverbesserung, im Englischen Recursive Self-Improvement oder kurz RSI, beschreibt einen Zustand, in dem KI-Systeme die Forschung und Entwicklung an KI-Systemen weitgehend selbst übernehmen. Schon heute schreiben Modelle einen erheblichen Teil des Codes in KI-Laboren. Das Szenario, das in der Sicherheitsforschung Sorgen bereitet, ist eines, in dem Menschen kaum noch in den Entwicklungsprozess eingebunden sind und neue Modelle schneller entstehen, als sie geprüft werden können.

WIRED zitiert aus dem Prospekt: Risiken würden zunehmen, wenn KI-Systeme die KI-Forschung und -Entwicklung weitgehend automatisieren, etwa wenn sie den Fortschritt über die Fähigkeit hinaus beschleunigen, neue Modelle zu bewerten und abzusichern. Anthropic schreibt zudem, es könnte eine solche Beschleunigung womöglich erst bemerken, nachdem sie eingetreten ist.

94 Seiten Risikofaktoren

Laut WIRED widmet der Prospekt den Risikofaktoren 94 Seiten. Neben der Selbstverbesserung nennt Anthropic dort Szenarien, in denen hinreichend fortgeschrittene Systeme ohne angemessene Schutzmaßnahmen katastrophale oder existenzielle Risiken für die Menschheit darstellen könnten. Die Formulierung „existenzielle Risiken“ taucht demnach dreimal auf. Auch Gefahren durch Modelle, die physische Geräte steuern, werden genannt – von Verletzungen bis zu Sachschäden.

Die Position von Anthropic

Anthropic betont zugleich, dass bislang kein Modell die betreffende Schwelle überschritten habe. Das Unternehmen will nach eigener Darstellung eine bedeutsame menschliche Kontrolle über die Entwicklung seiner Spitzenmodelle beibehalten. Die Responsible Scaling Policy des Unternehmens sieht für jede Fähigkeitsstufe zusätzliche Sicherheitsmaßnahmen vor, bevor Modelle trainiert oder veröffentlicht werden dürfen. Eine Anfrage von WIRED zu dem Abschnitt ließ Anthropic zunächst unbeantwortet.

Juristisch ist die Offenheit auch eine Absicherung: Unternehmen müssen im Prospekt alle wesentlichen Risiken nennen, damit Anleger später nicht auf mangelnde Aufklärung klagen können. Insofern ist der Abschnitt nicht nur Warnung, sondern auch Pflichtübung.