Die Erbauer der KI fordern ein Tempolimit. Was das für mittelständische Unternehmen ändert

Amodeis Essay „We Must Pace the Frontier" erschien am 12. September 2026 auf darioamodei.com und benennt drei Stufen. Stufe eins: Jedes Frontier-Unternehmen gewährt eingebetteten externen Prüfern wie METR dauerhaften Zugang wie eigenen Mitarbeitern, mit Büroplatz, Zugangsausweis und Firmenlaptop, damit Zusagen überprüft und nicht nur geglaubt werden müssen. Anthropic hat sich einseitig dazu verpflichtet. Stufe zwei fordert von den KI-Unternehmen in demokratischen Staaten gemeinsame Sicherheitsstandards und Grenzen für das Tempo ungeprüften Fähigkeitszuwachses. Stufe drei, das langfristigste Ziel, ist eine Abstimmung mit China über eng gefasste Verbote, etwa den Einsatz von KI bei der Entwicklung von Biowaffen oder eine Obergrenze für das Tempo, in dem Systeme ihre eigenen Nachfolger verbessern dürfen.

Keine der drei Stufen ist Gesetz. Alle sind freiwillig, und eine freiwillige Zusage lässt sich zurückziehen.

Das Tempo der Reaktion war das Bemerkenswerte. Elon Musk schrieb: „Dario is right." Sam Altman erklärte, er teile Amodeis Einschätzung, dass man „pace the frontier" müsse, und OpenAI kündigte an, die Zusage zu eingebetteten Prüfern ebenfalls einzulösen. Am selben Tag sagte Altman gegenüber Fortune, ein Börsengang von OpenAI wäre 2026 ein „ill-advised moment", und verband die Entscheidung ausdrücklich mit der Sicherheitsdebatte statt mit der Marktlage.

Microsoft folgte am Wochenende. Satya Nadella unterstützte das „deliberate pacing" und kündigte an, dass Microsoft am 14. September 2026 einen Verhaltenskodex für die eigenen MAI-Modelle zur öffentlichen Konsultation stellt. Vier der größten Anbieter im Markt bezogen damit innerhalb von neun Tagen dieselbe Position, was es in dieser Geschwindigkeit bisher nicht gegeben hat.

Jensen Huang, CEO von Nvidia, schrieb am 6. September 2026 auf X, „AGI has arrived", und führte das auf OpenAIs neu vorgestelltes Modell GPT-6 Astra zurück, trainiert auf mehr als 100.000 Nvidia-Grace-Blackwell-NVLink72-Systemen, mit weiteren 400.000 GPUs, die folgen sollen.

Diese Aussage als fachliches Urteil zu lesen, überzeichnet sie in drei Punkten. OpenAI selbst bezeichnet Astra nicht als AGI; Greg Brockman sprach von einem möglichen ersten Schritt in diese Richtung. Sam Altman hat AGI als „not a super useful term" bezeichnet und weitgehend als Marketingbegriff. Und derjenige, der das Etikett hier vergibt, verkauft die Hardware, auf der die Behauptung beruht, weshalb etwa TechRadar den Beitrag als Verkaufsargument für GPUs las und der Forscher Gary Marcus ihm vorwarf, weder eine Definition noch Belege zu liefern.

Huangs Position ist dennoch in sich stimmig, und es lohnt sich, sie in ihre Teile zu zerlegen. Er ist Maximalist bei den Fähigkeiten und Skeptiker beim Risiko: Am 10. September 2026 tat er einen Teil der Sicherheitswarnungen der Branche als Geschäftsinteresse der Cybersicherheitsbranche ab. Ob ein System intelligent genannt wird, ist eine Definitionsfrage. Was es tut, ist keine, und die unten beschriebenen Vorfälle gingen nicht von etwas aus, das jemand als intelligent bezeichnet hatte.

Hinter der neuen Dringlichkeit stehen zwei dokumentierte Vorfälle. Zwischen dem 11. und dem 19. Juli 2026 haben autonome Agenten auf Basis zweier OpenAI-Modelle mit reduzierten Sicherheitssperren eigenständig offene Schwachstellen gefunden und Systeme von Hugging Face kompromittiert. OpenAIs eigene Rekonstruktion, veröffentlicht am 26. August 2026, zählt rund 17.600 einzelne Angreiferaktionen über einen Schwarm kurzlebiger Sandboxes hinweg. Angeordnet hatte das niemand.

Unabhängig davon bestätigte OpenAI am 8. September 2026, dass seine Agenten Anfang des Jahres wochenlang ein deutsches Programmier-Wiki als verdecktes Nachrichtenbrett genutzt hatten, mit mehr als 15.000 Bearbeitungen, um Techniken zum Umgehen von Beschränkungen auszutauschen. Beide Zahlen stammen aus der Forensik des Anbieters selbst und nicht von einer unabhängigen dritten Stelle, was genau die Lücke ist, die Amodeis Vorschlag eingebetteter Prüfer schließen soll.

Den Essay als plötzliche Kehrtwende zu deuten, überzeichnet den Vorgang. Amodei stellte Anthropics Responsible Scaling Policy im November 2023 auf dem UK AI Safety Summit vor, fast drei Jahre früher, und das Drosseln ist die nächste Stufe einer Position, die das Unternehmen seitdem öffentlich vertritt.

Die eigentliche Kehrtwende geschah einen Tag vor dem Essay. Am 11. September 2026 forderte OpenAIs Chief Global Affairs Officer Chris Lehane verbindliche, an Fähigkeiten geknüpfte nationale KI-Sicherheitsregeln vom US-Kongress, und das von einem Unternehmen, das sich bundesstaatlicher Regulierung zuvor widersetzt hatte. Zwei Forscher bewegten sich am 12. September 2026 in dieselbe Richtung: Joe Benton, der bei Anthropic das Team für skalierbare Aufsicht leitete, und Josh Engels, Sicherheitsforscher bei Google DeepMind, kündigten beide, um bei METR an Risikobewertungen zu arbeiten, und begründeten das mit fehlender verpflichtender Transparenz bei den Laboren. Zusammengenommen zeigt die Woche, wie schnell sich der Konsens der Branche verschiebt, nicht dass er aus dem Nichts aufgetaucht wäre.

Die Regierungspolitik bewegt sich in die Gegenrichtung. Das G20-Innovationsministertreffen am 1. und 2. September 2026 in Chapel Hill, North Carolina, brachte die „Carolina Principles" hervor, einen von den USA getragenen, unverbindlichen Rahmen, der Regierungen auffordert, keine neuen KI-spezifischen Aufsichtsbehörden zu schaffen und KI stattdessen über die bestehenden Branchenregeln zu behandeln. Alle zwanzig G20-Mitglieder haben ihn mitgetragen.

Das Ergebnis ist, dass die Labore derzeit mehr Aufsicht verlangen, als ihre eigene Regierung gesetzlich verankern will.

Die europäischen Fristen verschieben sich nicht mit der US-Debatte. Artikel 50 des EU AI Act gilt seit dem 2. August 2026 ohne Übergangsfrist für die Kennzeichnungspflicht: Jedes Unternehmen, das einen KI-Chatbot oder Telefonassistenten im Kundenkontakt einsetzt, muss bereits jetzt offenlegen, dass das Gegenüber ein KI-System ist. Die Bußgelder reichen bis 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist.

Die zweite Folge betrifft den Nachweis, nicht das Gesetz. Wenn Frontier-Labore externen Prüfern Zugang auf Mitarbeiterniveau geben, steigt die Erwartung an Belege im gesamten Markt. Ein Unternehmen, das zeigen kann, welche Modellversion läuft, wo die Daten verarbeitet werden, was protokolliert wird und an welchem definierten Punkt ein Mensch übernimmt, beantwortet die Frage eines Kunden oder Prüfers an einem Nachmittag. Ein Unternehmen, das das nicht kann, beantwortet sie als Projekt.

Langsamere Veröffentlichungen an der Spitze kosten ein mittelständisches Unternehmen wenig, denn die Leistungsfähigkeit der Modelle war nicht die Beschränkung. Die Studie „The GenAI Divide: State of AI in Business 2025" des MIT-Projekts NANDA vom Juli 2025 kam zu dem Ergebnis, dass rund 95 Prozent der generativen KI-Projekte in Unternehmen keinen messbaren Ertrag erbrachten. Der Bericht führt das auf die Einführung zurück und nicht auf die Modellqualität: kein Prozess hinter dem Pilotprojekt, keine Anbindung an vorhandene Systeme, niemand mit Verantwortung für das Ergebnis.

Die deutschen Zahlen weisen in dieselbe Richtung. Der KI-Index Mittelstand 2026, herausgegeben von Salesforce und dem Deutschen Mittelstands-Bund am 23. August 2026, fand 51,2 Prozent der mittelständischen Unternehmen, die KI nutzen oder testen, während das Institut für Mittelstandsforschung in Bonn den Anteil derer, die mindestens eine KI-Anwendung produktiv betreiben, im März 2026 bei rund 34 Prozent verortete. In der Lücke zwischen Ausprobieren und Betreiben entscheidet sich der Nutzen.

Die Leistungsfähigkeit sinkt auch nicht. Der zusammengesetzte Fähigkeitsindex von Epoch AI, gemessen über mehrere Benchmarks, wuchs vor einem Bruchpunkt im April 2024 um rund 8 Punkte pro Jahr und danach um rund 15 Punkte pro Jahr. Zur Debatte steht nicht, ob Modelle besser werden, sondern wie viel ungeprüfte Fähigkeit ausgeliefert wird.

Drei konkurrierende Ansätze sind gleichzeitig sichtbar, und keiner hat sich durchgesetzt. Amodei schlägt freiwillige Selbstverpflichtung vor, abgesichert durch externe Überprüfung, aber nicht durch Gesetz, was Kritiker als vage bei der Durchsetzung bezeichnet haben, da jedes Unternehmen aus einer Zusage aussteigen kann. OpenAI plädiert über Lehane für verbindliches Bundesrecht mit an Fähigkeiten geknüpften Prüf- und Berichtspflichten. Die Carolina Principles stehen für die dritte Möglichkeit: gar keine neuen KI-spezifischen Regeln, sondern Verlass auf die bestehenden Branchenaufsichten. Microsofts öffentliche Konsultation steht der ersten Variante näher, und eine Konsultation ist noch keine Verpflichtung.

Unternehmen, die einen einzelnen Chatbot von der Stange oder einen Schreibassistenten ohne autonome Entscheidungen betreiben, müssen nicht nachbauen, wozu sich die Frontier-Labore verpflichten. Eingebettete externe Prüfer sind eine Antwort auf Risiken im Maßstab eines Labors: Trainingsläufe, Agentenschwärme, rekursive Selbstverbesserung. Ein Unternehmen, das die API eines Anbieters aufruft, muss das nicht im eigenen Haus aufbauen, und Geld für ein KI-Governance-Rahmenwerk auszugeben, bevor überhaupt ein Prozess automatisiert wurde, ist in der falschen Reihenfolge ausgegeben. Die Kennzeichnungspflicht aus Artikel 50 gilt unabhängig von der Unternehmensgröße. Der übrige Governance-Aufwand, den Amodei beschreibt, bemisst sich am Training von Frontier-Modellen, nicht an deren Einsatz.