OpenAI gibt bekannt, dass es eine groß angelegte, koordinierte Kampagne identifiziert und gestoppt hat, um Argumente zu extrahieren vor seinen KI-Modellen geschützt. Diese Aktivität wird einer Kerngruppe von Personen zugeschrieben, die mit dem chinesischen Startup Moonshot AI verbunden sind, das für Kimi-Modelle bekannt ist.

Qualifiziert als ungünstige DestillationDie Operation fand hauptsächlich im Juli statt und umfasste Zehntausende Anfragen.

Wie wurde diese Operation durchgeführt?

Laut OpenAI haben die Angreifer weder die Verschlüsselung gebrochen, noch eine Datenbank kompromittiert oder sich direkten Zugriff auf die gespeicherten Konversationen der Benutzer verschafft.

Sie manipulierten die Interaktionen mit den Modellen, um die Wiederherstellung ihrer internen Argumentation in einer sichtbaren Form zu erzwingen. Eine Technik bestand darin, die verschlüsselten Argumente einer Konversation zu kopieren und dann ein Modell in einer anderen Konversation zu bitten, sie zu entschlüsseln und zu transkribieren.

Die Aktivität begann am 1. Juli und verzeichnete am 24. und 25. Juli deutliche Spitzen, wobei 16.000 verdächtige Anfragen von mehr als 4.000 Benutzern registriert wurden. Insgesamt identifizierte die Untersuchung entsprechende Aktivitäten in einer Gruppe von mehr als 15.000 Benutzern bevor der Wahlkampf am 28. Juli komplett unterbrochen wurde.

Nach Vorwürfen von Anthropic

Solche Anschuldigungen sind kein Einzelfall. Einige Wochen zuvor hatte Anthropic Moonshot AI bereits vorgeworfen, ihr Claude-Modell heimlich zum Trainieren der eigenen Kimi-Systeme zu nutzen.

“ Eine nachteilige Destillation birgt Risiken für die Sicherheit und die nationale Sicherheit „, sagt OpenAI. “ Die extrahierte Argumentation könnte verwendet werden, um ein anderes Modell zu trainieren, ohne die angewendeten Sicherheitsgarantien beizubehalten auf die für den Benutzer des Originalmodells vorgesehenen Ausgänge. „

OpenAI fügt hinzu, dass dies eine beschleunigte Übertragung erweiterter Funktionen ohne entsprechende Investitionen in die Sicherheit ermöglichen könnte.

OpenAI rechnet mit einer Eskalation

OpenAI hat betrügerische Konten verboten, seine Registrierungskontrollen und Infrastruktur gestärkt und seine Überwachung verdächtiger Netzwerke ausgeweitet.

Außerdem wurden technische Schutzmaßnahmen hinzugefügt, um die Argumentation der Models besser zu verbergen und Versuche, diese sensiblen Informationen preiszugeben, zu erkennen.

OpenAI hat seine Erkenntnisse über das Frontier Model Forum sowie Regierungsprogramme in den Vereinigten Staaten mit Partnern geteilt und geht davon aus, dass die kontradiktorischen Destillationsversuche ausgefeilter werden.