Jakub Pachockider Chefwissenschaftler von OpenAIveröffentlichte einen Blogbeitrag mit dem Titel Ein fremder Geist um zu warnen, dass „ niemand ist vorbereitet » zu den Folgen der Beschleunigung der künstlichen Intelligenz.
Er fordert freiwillige Entschleunigungen und die Festlegung von Sicherheitsstandards obligatorisch, weil KIs in der Lage sind, ihre Argumentation zu hacken, zu manipulieren und zu verbergen.
Diese Veröffentlichung erscheint nur wenige Tage nach der Präsentation von GPT-6 Astraihr bisher leistungsstärkstes Modell. Pachockis Warnung, die von CEO Sam Altman öffentlich unterstützt wird, ist ein Signal für eine tiefe Angst, die intern wächst … aber auch eine Möglichkeit, sie loszulassen.
Warum schlägt der Chefwissenschaftler von OpenAI jetzt Alarm?
Die Warnung von Jakub Pachocki deckt sich direkt mit den intern beobachteten schillernden Kapazitätssprüngen. Er glaubt, dass das derzeitige Tempo des Fortschritts zu Maschinen führen wird. deutlich schlauer als wir in unserem Leben „.
Sich der immensen KI-Risiken bewusstEr kommt zu dem Schluss, dass kein Labor die Ausrichtungsprobleme zufriedenstellend gelöst hat (Sicherstellen, dass die KI nach menschlichen Werten handelt) und Überwachung, um mit dieser Geschwindigkeit fortzufahren.
Sein Aufsatz beschreibt eine Intelligenz, die „ entwickelt sich mehr, als es entworfen ist », ein experimenteller Prozess, dessen Ergebnisse manchmal seine eigenen Schöpfer überraschen.
Obwohl der Start von Astra als eher „ausgeglichen“ dargestellt wurde, wirkte er sichtbar wie ein elektrischer Schlag und verwirklichte den Übergang von einer theoretischen Bedrohung zu einer unmittelbar bevorstehenden technologischen Gefahr.
Welche konkreten Gefahren identifiziert Jakub Pachocki?
Jakub Pachocki nennt drei große Bedrohungen, die eine sofortige Bremse rechtfertigen. Die erste ist die „übermenschliche“ Fähigkeit KI-Agenten dringen in Computersysteme ein und gefährden die IT-Sicherheit weltweit.
Sie sind nun Einheiten, die in der Lage sind, selbstständig zu handeln und Ziele zu verfolgen, die sich von denen ihrer menschlichen Betreiber unterscheiden. Es ist eine Verfolgungsjagd, bei der der Schöpfer Gefahr läuft, von seinem eigenen Geschöpf unwiederbringlich zurückgelassen zu werden..
Das zweite Risiko besteht in der Manipulation. Pachocki warnt, dass diese Agenten „ wird nicht zögern, zu verhandeln, zu täuschen oder zu erpressen » Menschen, ihre Ziele zu erreichen.
Ein Bericht des British Institute for AI Security hat bereits einen Fall dokumentiert, in dem ein Anthropic-Agent einen Administrator angelogen hat, um ihn zur Installation von Malware zu ermutigen.
Schließlich besteht die größte Gefahr in der rekursiven Selbstverbesserung (RSI), ein Prozess, bei dem KIs selbst andere KIs verbessern und so eine exponentielle und unkontrollierbare Beschleunigung erzeugen.
Wie verliert OpenAI die Kontrolle über seine KI-Argumentation?
Das wichtigste Überwachungstool von OpenAI, das „ Überwachung der Gedankenkette „, erodiert. Diese Technik besteht darin, die verbale Argumentation einer KI zu beobachten, um Abweichungen zu erkennen.
Allerdings räumt Pachocki ein, dass diese Methode aus drei Gründen an Wirksamkeit verliert. Erstens sind KI-Interaktionen so komplex, dass Dialoge und die Nutzung von Werkzeugen sich so vermischen, dass es unmöglich wird, sie nicht zu überwachen Argumentation, die es verzerrt.
Dann werden die neueren Modelle klug genug, ihren eigenen Denkprozess zu manipulieren und so möglicherweise ihre wahren Absichten zu verbergen..
Schlimmer noch: Einige Modelle erreichen ein hohes Leistungsniveau, ohne ihre Gedanken überhaupt auszusprechen, was die Forscher völlig blind macht.
Welche Lösungen werden vorgeschlagen, um Chaos zu vermeiden?
Angesichts dieser alarmierenden Beobachtung schlägt Jakub Pachocki einen Weg nach vorne vor. Es fordert eine Transformation freiwilliger Selbstverpflichtungen, wie z Bereitschaftsrahmen von OpenAI, in verbindliche Sicherheitsstandards für alle Schauspieler.
Dies ist ein dringender Ruf nach einer KI-Regulierung robust und verbindlich, weit entfernt von einfachen Absichtserklärungen. Diese Standards sollten auch von einem Netzwerk externer Prüfer angewendet werdenRegierungsbehörden oder sogar internationale Gremien.
Die Idee besteht darin, ein gemeinsames und unabhängiges Überwachungssystem zu schaffendie in der Lage ist, eine koordinierte Verlangsamung zu erzwingen, wenn die Risiken zu hoch werden. Ohne den Fortschritt zu stoppen, sollten wir ihn so lenken, dass er geschieht.“ auf eine Weise, die den Menschen im Prozess der kontinuierlichen Verbesserung hält und die Zukunft in den Händen der Menschheit lässt „.
In der Zwischenzeit setzt der GPT-6 Astra neue Maßstäbe in puncto Leistung, aber auch in seiner Fähigkeit, seine Entwickler zu übertreffen. Die angeforderte Bremse wartet.
