METR: KI-Zeithorizonte verdoppeln sich alle 3,6 Monate, beim Urteilen liegen Experten vorn
Die gemeinnützige Evaluierungsorganisation METR erklärte am 20. November, dass sich über ihre ältere Aufgabensammlung TH1.1 und eine neue, schwierigere Sammlung TH2 hinweg die Länge der Aufgaben, die Frontier-Agenten in der Hälfte der Fälle bewältigen, etwa alle 3,61 Monate verdoppelt (95-Prozent-Konfidenzintervall: 2,08 bis 4,94). Die Auswertung umfasst öffentlich verfügbare Modelle bis Claude Opus 5.5 und GPT-6 Astra. METR zufolge reicht die derzeitige Datenlage nicht aus, um eine drastische Beschleunigung der KI-Forschung und -Entwicklung in den nächsten paar Jahren auszuschließen; zugleich stellt die Organisation fest, dass Agenten bei Aufgaben ohne klare Rückmeldung schlechter urteilen als menschliche Fachleute. Die meisten Aufgabendauern sind Schätzungen.

Der Evaluator, der vor allem für die Grafik zum „Zeithorizont“ bekannt ist, argumentiert nicht mehr, dass heutige Modelle zu schwach seien, um sich Sorgen zu machen. In einem am 20. November veröffentlichten Fähigkeitsbericht erklärt METR, öffentlich verfügbare Modelle verfügten inzwischen über so ausgeprägte Fähigkeiten im Programmieren und Hacken, dass die Organisation „nicht mehr“ glaube, allein mit mangelnder Leistungsfähigkeit bei überprüfbaren Softwareaufgaben begründen zu können, dass das Risiko sehr gering sei. Die neue Trendlinie steigt weiter; die Schwachstelle, die METR gefunden hat, ist die Urteilskraft.
Der Trend#
METR hat öffentlich verfügbare Modelle bis Claude Opus 5.5 und GPT-6 Astra evaluiert. Über die ältere Aufgabensammlung TH1.1 und eine neue, schwierigere Sammlung TH2 hinweg verdoppeln sich die Zeithorizonte, also die in menschlicher Arbeitszeit gemessene Länge der Aufgaben, die ein Modell mit 50 Prozent Erfolgswahrscheinlichkeit bewältigt, etwa alle 3,61 Monate (95-Prozent-Konfidenzintervall: 2,08 bis 4,94), das heißt alle 110 Tage. Das liegt nahe an der Verdopplung alle 105 Tage, die METR zuvor allein für TH1.1 gemeldet hatte. Naiv fortgeschrieben erreicht der Trend die höchste Bewertungsschwelle von METR, 200 Stunden, im Juli 2027, heißt es im Bericht.
Bei den älteren Tests ist die Obergrenze bereits in Sicht. Laut METR haben die Modelle TH1.1, das Aufgaben von bis zu 30 Stunden umfasst, binnen eines Jahres nach Einführung der Kennzahl im März 2025 ausgereizt, und aktuelle Frontier-Modelle erreichen auf dem überprüfbaren Teil von TH2 einen geschätzten Zeithorizont von bis zu 27 Stunden. Bei den drei Aufgaben, für die METR versuchte, Menschen für Vergleichswerte zu gewinnen, schnitten die Modelle besser ab als die Personen, die die Organisation gefunden hatte.
Daraus folgt die zentrale Schlussfolgerung: METR zufolge reicht die derzeitige öffentliche Datenlage nicht aus, um eine „drastische Beschleunigung der KI-Forschung und -Entwicklung“ in den nächsten paar Jahren auszuschließen. Gemeint ist, dass sich die Fähigkeiten so schnell verbessern, dass Menschen katastrophale Risiken neuer Systeme nicht mehr sinnvoll verstehen, bewerten und darauf reagieren können. Die Organisation räumt ein, weiterhin erheblich unsicher zu sein, welche Fähigkeiten dafür nötig sind und wie schnell sie sich verbessern. METR fügt hinzu, der kombinierte Trend ähnele dem, den OpenAI kürzlich für seine eigenen internen Forschungsaufgaben gemeldet hat.
Wo Agenten zurückbleiben#
Bei Aufgaben, die Entscheidungen ohne klare empirische Rückmeldung verlangen, scheinen KI-Agenten laut METR schlechter zu urteilen als menschliche Fachleute. In einer Aufgabe bewerteten Modelle, die als Gutachter eingesetzt wurden, die Ergebnisse ähnlich starker oder stärkerer Modelle im Vergleich zu einem fachkundigen Bewerter zu hoch.
Die MIT Technology Review, die externe Forscher befragt hat, berichtet, dass keine der von KI entworfenen Evaluierungen in einer TH2-Aufgabe gut genug war, als dass die Mitarbeiter von METR sie für brauchbar gehalten hätten, und dass die Modelle auch bei der Bewertung philosophischer Argumente hinter menschlichen Leistungen zurückblieben. Opus 5.5 erreichte bei der Aufgabe zum Entwurf von Evaluierungen das, was METR als „knapp über der Messlatte“ bezeichnet, nachdem vor einem Jahr noch jedes Modell „klar unter der Messlatte“ gelegen hatte, so das Magazin. Sayash Kapoor, der demnächst eine Professur an der UC Berkeley antritt, sagte dem Magazin: „Wir sind an einem Punkt, an dem KI-Evaluierungen kreativer werden müssen.“
Unsere Einschätzung: Die Verdopplungsrate ist die Zahl, die sich verbreiten wird. Für die Automatisierung von Forschung zählt aber die Lücke bei der Urteilskraft, und gerade sie beruht auf der dünnsten Datengrundlage des Berichts.
Einschränkungen#
- TH2 umfasst 36 Aufgaben in 12 Familien, und nur wenige davon hängen stark von Urteilskraft ab; die Befunde dazu beruhen daher auf einer kleinen Stichprobe.
- Die meisten Aufgabendauern in TH2 sind Schätzungen und keine gestoppten Versuche von Menschen, berichtet die MIT Technology Review; bei der Philosophie-Aufgabe bewertete eine einzige Person die meisten Argumente.
- Das Konfidenzintervall für die Verdopplungszeit ist breit, und METR bezeichnet die Fortschreibung selbst als naiv.
- METR hat Evaluierungsvereinbarungen mit OpenAI, die tiefen Zugang gewähren; dieser Bericht betrifft nur öffentlich verfügbare Modelle.