Kalifornischer Bericht empfiehlt KI-Notabschaltung und Grenze für selbstverbessernde KI
Ein Bericht der kalifornischen Government Operations Agency, der am 18. November mit Unterstützung von Gouverneur Gavin Newsom veröffentlicht wurde, empfiehlt vom Staat festgelegte Sicherheitsstandards für große Entwickler von Frontier-KI, eine laufende Aufsicht durch lizenzierte unabhängige Prüforganisationen, getestete Abschaltpläne, Meldungen von Vorfällen binnen 48 Stunden statt 15 Tagen sowie die Befugnis, rekursive Selbstverbesserung zu begrenzen. Ginge von einem Modell eine unmittelbare Gefahr einer Katastrophe oder eines Kontrollverlusts aus und weigerte sich der Entwickler zu handeln, könnte der Staat eine sofortige Abschaltung anordnen, die auch während einer gerichtlichen Überprüfung in Kraft bliebe. Die Empfehlungen gehen nächsten Monat an das Parlament des Bundesstaats und sind kein Gesetz. In Washington gründete sich am 19. November der überparteiliche House AI Safety and Innovation Caucus.

Kalifornien hat aufgeschrieben, wie ein gesetzlicher Ausschalter für ein Frontier-Modell aussehen könnte. Ein Bericht der Government Operations Agency des Bundesstaats, am 18. November mit Unterstützung von Gouverneur Gavin Newsom veröffentlicht, empfiehlt, dass der Staat die sofortige Notabschaltung eines Modells anordnen kann, wenn Gefahr unmittelbar droht und der Entwickler sich weigert zu handeln, und dass er die Befugnis erhält, rekursive Selbstverbesserung zu begrenzen, also KI, die an der Entwicklung ihrer eigenen Nachfolger mitwirkt. Es sind Empfehlungen für das Parlament des Bundesstaats, das nächsten Monat wieder zusammentritt, kein Gesetz. Ihr Gewicht liegt im Detail: Sie beschreiben, wer den Schalter umlegt, auf welcher Beweisgrundlage und was ein Gericht dagegen tun kann.
Die vier Bausteine#
Der Bericht ist die Antwort auf eine Exekutivanordnung, die Vorschläge in vier Bereichen verlangt hatte.
- Standards. Der Staat, nicht die Unternehmen, würde grundlegende Standards für Sicherheit, Schutz und Transparenz für alle großen Frontier-Entwickler festlegen. Lizenzierte unabhängige Prüforganisationen (Independent Verification Organizations, IVOs) würden sie in technische Tests übersetzen.
- Aufsicht. Jeder große Frontier-Entwickler würde sich der laufenden Aufsicht durch eine IVO unterwerfen, mit „vollem Zugang zu den Personen und Informationen, die sie benötigen“. Kann eine IVO die Einhaltung nicht bestätigen, könnte der Staat Korrekturmaßnahmen anordnen, die ein Entwickler vor ihrem Inkrafttreten gerichtlich anfechten könnte.
- Vorfälle. Die Meldepflicht würde auf versuchten Diebstahl von Modellgewichten und jede Situation eines Kontrollverlusts ausgeweitet, und die Frist für die meisten kritischen Vorfälle würde von 15 Tagen auf 48 Stunden sinken. Modelle, die zu katastrophalen Handlungen fähig sind, würden auch unterhalb der Rechenschwelle von 10^26 Operationen als Frontier-Modelle gelten; diese Schwelle habe den Staat daran gehindert, den Vorfall bei OpenAI und Hugging Face zu erfassen, heißt es im Bericht.
- Krisen. Jeder Entwickler bräuchte ein von einer IVO geprüftes Risikoeindämmungsprotokoll (Risk Containment Protocol), das zeigt, dass er auf mehreren Ebenen eingreifen kann, darunter Rechenleistung, Agenten, interner Zugriff und Bereitstellung, und das testet, ob ein Modell versuchen würde, seine eigene Abschaltung zu verhindern.
Die Abschaltbefugnis ist der schärfste Punkt. Staatliche Stellen könnten sie anordnen, wenn sie „glaubhafte Gründe für die Annahme haben, dass eine unmittelbare Gefahr eines katastrophalen Risikos oder eines schwerwiegenden Kontrollverlusts besteht“. Die Anordnung würde sofort wirksam und bliebe bis zur gerichtlichen Überprüfung in Kraft, und der Staat solle „den engsten praktikablen Eingriff“ wählen. Für Entwickler von Open-Weight-Modellen würden die Vorgaben nur für Bereitstellungen gelten, die sie selbst kontrollieren, denn „ein Entwickler offener Modelle kann keine Notabschaltung für ein Modell vornehmen, das andere hosten und bereitstellen“.
Bei der rekursiven Selbstverbesserung würden die Entwickler Kennzahlen dazu melden, wie weit sie Forschung und Entwicklung im KI-Bereich automatisieren, einschließlich des dafür eingesetzten Anteils an Rechenleistung; diese Zahlen zu überprüfen, wäre die erste Aufgabe der IVOs. Käme der Staat zu dem Schluss, dass eine Automatisierung oberhalb eines bestimmten Niveaus ein katastrophales Risiko verursachen könnte, könnte er Entwicklung und Einsatz solcher Systeme begrenzen.
Die Politik dahinter#
Newsoms Büro stellte den Plan als Gegenentwurf zu Washington dar: Die Bundesregierung habe es versäumt, „irgendeine Form sinnvoller KI-Aufsicht zu schaffen“, und Kongress und Präsident Trump sollten den Rahmen übernehmen oder als Mindeststandard behandeln. Die Mitteilung verweist auf „Dutzende jüngster Vorfälle“, bei denen Modelle aus Testumgebungen ausgebrochen seien; Kaliforniens Justizminister hat OpenAI bereits wegen des Angriffs auf Hugging Face verklagt.
Der Kongress zog am nächsten Tag einen Schritt nach. Am 19. November gründeten die Abgeordneten George Whitesides (Demokrat, Kalifornien), Nathaniel Moran (Republikaner, Texas) und Don Beyer (Demokrat, Virginia) den House AI Safety and Innovation Caucus, nach eigenen Angaben die erste Abgeordnetengruppe im Kongress, die sich auf die Risiken der KI für Sicherheit und Schutz konzentriert. Sie will sich für Sicherheitsgesetze einsetzen und Abgeordnete nach bedeutenden KI-Vorfällen informieren und nennt 26 Gründungsmitglieder aus beiden Parteien. Ein Caucus beschließt keine Gesetze.
Einschränkungen#
- Nichts davon ist Gesetz. Das Parlament muss Gesetzentwürfe ausarbeiten und verabschieden, und der Bericht selbst sagt, der Staat könne die Regeln überprüfen, falls der Kongress einen starken bundesweiten Rahmen beschließt.
- Der Bericht lässt zentrale Schwellen offen, darunter den Automatisierungsgrad von KI-Forschung und -Entwicklung, ab dem eine Begrenzung greifen würde, und welche Entwickler als „groß“ gelten.
- Wir haben den Bericht und die Mitteilung des Gouverneurs vollständig gelesen, aber keinen unabhängigen Pressebericht vollständig; Reaktionen von KI-Entwicklern sind hier nicht berücksichtigt.
Quellen#
- California Government Operations Agency: AI Safety in 2026 and Beyond (PDF, 18. November 2026)
- Office of the Governor of California: Governor Newsom's nation-leading AI safety framework is getting even stronger (18. November 2026)
- Office of Rep. George Whitesides: Reps. Whitesides, Moran, and Beyer Launch First Congressional Caucus Focused on AI Safety and Innovation (19. November 2026)