Saturday, Nov 21 | --:--
Zur Startseite

OpenAI: Extraktionsangriffe auf Denkprozesse bei GPT-6.2 Astra von 54 auf 0,2 % gesenkt

In einem Forschungsbeitrag vom 20. November erklärte OpenAI, die aktualisierten Schutzmechanismen von GPT-6.2 Astra hätten die durchschnittliche Erfolgsquote adaptiver Angriffe, die geschützte Denkprozesse aus einer früheren Anfrage rekonstruieren sollen, von 54,0 Prozent bei GPT-6 Astra auf 0,2 Prozent gesenkt, bei der aktuellen Anfrage von 22,9 auf 0,9 Prozent. Laut einer internen Studie gewannen Schülermodelle, die mit exakten Denkspuren trainiert wurden, mehr Cyberfähigkeiten als solche, die mit Zusammenfassungen trainiert wurden. Die wöchentlichen Durchsetzungsmaßnahmen betrafen zwischen Tausenden und Zehntausenden Konten. Alle Zahlen stammen von OpenAI selbst.

4 Min. Lesezeit San Francisco Als Markdown anzeigen
Eine handgefertigte redaktionelle Collage auf eingerissenem elfenbeinfarbenem Papier in Ocker und Petrol: Links liegt eine präzise Kohlezeichnung einer filigranen, spitzenartig verzweigten Form aus Papier, über ihre rechte Seite ist ein großes, zerknittertes, mattiertes Transparentpapier gelegt, auf dem ein schlichter Holzbleistift liegt, als werde gerade durchgepaust, während nur ein schwacher, verschwommener Schatten der Zeichnung durch das beschlagene Papier dringt; ein offizielles OpenAI-Logo klebt auf einem Ausschnitt aus eingerissenem Papier, dessen Oberkante unter den eingerissenen unteren Rand des Transparentpapiers geschoben ist, das einen weichen Schatten auf den Ausschnitt wirft; das Logo ist vollständig sichtbar.

OpenAI deutet Destillation um: Statt als Verletzung geistigen Eigentums stellt das Unternehmen sie nun als Sicherheitsproblem dar. Ein Modell, das mit den Ausgaben eines Frontier-Modells trainiert wird, kann dessen Fähigkeiten erlernen, ohne dessen Verweigerungen zu übernehmen. In einem Forschungsbeitrag vom 20. November erklärt das Unternehmen, neue Schutzmechanismen bei GPT-6.2 Astra hätten es nach eigenen Messungen deutlich schwerer gemacht, die verborgenen Denkprozesse des Modells zu extrahieren.

Die Zahlen, die OpenAI nennt#

OpenAI führte adaptives Black-Box-Red-Teaming durch, bei dem sich automatisierte Angreifer an die Antworten des Systems anpassen; die Ergebnisse wurden über sechs Angreifermodelle hinweg zusammengefasst.

Link

Angriffsart GPT-6 Astra, ursprüngliche Schutzmechanismen GPT-6.2 Astra, aktualisierte Schutzmechanismen
Extraktion geschützter Denkprozesse aus einer früheren Anfrage 54,0 % 0,2 %
Extraktion geschützter Denkprozesse aus der aktuellen Anfrage 22,9 % 0,9 %

Nach Angaben von OpenAI gelten die verstärkten Abwehrmaßnahmen auch für GPT-6.2 Sol, und ausgewählte Verbesserungen würden nun auch auf GPT-6 Astra angewendet. The Decoder berichtet dieselben Zahlen unter Berufung auf OpenAI.

Warum Denkspuren laut OpenAI wichtig sind#

In einer internen Studie trainierte OpenAI dasselbe vortrainierte Schülermodell mit Trajektorien von Lehrermodellen auf Astra-Niveau, die Programmier- und defensive Cybersicherheitsaufgaben bearbeiteten. Nach überwachtem Fine-Tuning schnitt das mit exakten Denkspuren trainierte Schülermodell im Allgemeinen besser ab als das mit Zusammenfassungen der Denkprozesse trainierte. Nach einer Runde Reinforcement Learning erzielte das mit exakten Spuren trainierte Modell beim größten getesteten Inferenzbudget weiterhin höhere Werte, während das mit Zusammenfassungen trainierte Modell bei kleineren Budgets besser abschnitt. OpenAI folgert, dass der Schutz von Denkspuren die Übertragung von Cyberfähigkeiten begrenzen kann, selbst wenn die ursprünglichen Aufgaben zulässig waren.

Durchsetzung und Politik#

OpenAI erklärt, in diesem Jahr mehrere nicht autorisierte Destillationskampagnen auf seiner Plattform festgestellt zu haben; die wöchentlichen Durchsetzungsmaßnahmen hätten zwischen Tausenden und Zehntausenden Konten betroffen, wobei die Zahl in diesem Sommer deutlich gestiegen sei. Das Unternehmen erinnert daran, dass es den Kongress im Februar über Aktivitäten unterrichtet hatte, die darauf hindeuteten, dass DeepSeek US-Frontier-Modelle zu destillieren versuchte, und dass es im September eine Kampagne zur Extraktion von Denkprozessen Personen aus dem Umfeld von Moonshot AI zugeschrieben hatte. Weitere Informationen zu jüngsten Kampagnen wolle es bald veröffentlichen.

Das Unternehmen erklärt, es habe dem Kongress seine Unterstützung für den Chip Security Act, den AI OVERWATCH Act und den MATCH Act mitgeteilt und befürworte Gesetze, die der Regierung mehr Instrumente an die Hand geben, ausländische Akteure zu sanktionieren, die unrechtmäßig Fähigkeiten aus amerikanischen Modellen extrahieren.

Unsere Einschätzung: Hier bewertet ein Anbieter seinen eigenen Patch, ohne dass ein externes Red Team genannt wird. Belastbarer ist die Studie zu den Denkspuren, denn sie gibt Laboren einen Grund, die Gedankenkette zu verbergen, der über Geschäftsgeheimnisse hinausgeht. Anthropic argumentierte im vergangenen Monat ähnlich, als es erklärte, seine Abwehrmaßnahmen hätten die Ausbeute von Destillierern um 90 bis 99 Prozent verringert.

Einschränkungen#

  • Alle Ergebnisse stammen aus internen Evaluierungen von OpenAI; die sechs Angreifermodelle werden nicht genannt, und wir haben keine unabhängige Replikation gefunden.
  • OpenAI erklärt, die Verbreitung von Destillationsmissbrauch zu verfolgen, hat in dem von uns gelesenen Beitrag aber keine Zahlen dazu veröffentlicht.
  • Der Beitrag nennt keine neue Kampagne und keine neue Zuschreibung; die Verweise auf DeepSeek und Moonshot betreffen frühere Offenlegungen.

Quellen#

Frühere Berichte

Bisherige Berichterstattung von Times of AI zu diesem Thema.