Eine Untersuchung von WIRED in Zusammenarbeit mit Forschern der gemeinnützigen AI Forensics deckte ein Netzwerk von mehr als 400 verbundenen Anwendungen und Domänen auf.
Unter harmlosen Außenhüllen, wie z. B. Bildbearbeitungsprogrammen für Haustiere, versteckten Dienste tatsächlich Werkzeuge zur Generierung sexueller Deepfakes.
Diese über den App Store und Google Play vertriebenen Anwendungen wurden Hunderttausende Male heruntergeladen und konnten dank einer Verschleierungsstrategie Validierungssysteme umgehen.
Eine groß angelegte Täuschung
Nach der Installation kontaktierte die Anwendung einen Remote-Server, indem sie Informationen über den Benutzer (Sprache, Standort, eindeutige Kennung) übermittelte. Abhängig von diesen Daten entschied der Server dann, entweder die harmlose Version der Anwendung anzuzeigen oder eine versteckte Weboberfläche zu laden Zugriff auf Deepfake-Tools gewähren.
Diese „Köder-und-Schalter“-Technik ermöglichte es Anwendungen, die Validierungsphasen von Anwendungsspeichern zu bestehen. Einer der Hauptauslöser für das Aufdecken der verborgenen Seite der Anwendung scheint darin zu liegen, dass sie sie heruntergeladen haben, nachdem sie auf eine bestimmte Anzeige geklickt haben auf Metaplattformen (Facebook und Instagram).
Forscher haben Tausende von Anzeigen mit anstößigem Inhalt zurückverfolgt, die zu diesen Apps führten. Die geheime Schnittstelle zeigte Gewaltszenen, in die Benutzer Fotos von echten Menschen einfügen konnten.
Wer steckt hinter dieser Operation?
Die Untersuchung ermöglichte es, die Spur bis zu chinesischen Entwicklern zurückzuverfolgen und ein in Hongkong registriertes Unternehmen namens KeLing Technology Limited.
Mehrere technische Hinweise deuten auf diesen Ursprung hin: das fast ausschließliche Hosting in China, Kommentare auf Chinesisch im Quellcode der Anwendungen und Wasserzeichen chinesischer Videobearbeitungssoftware auf den Werbeanzeigen.
Die Entwickler achteten sorgfältig darauf, generische Namen, unnötige E-Mail-Adressen und vage Datenschutzrichtlinien zu verwenden, um ihre Spuren zu verwischen. Der Name KeLing Technology Limited wurde in den Kontaktdaten der ersten registrierten Website des Netzwerks aufgeführt und auf einer administrativen Anmeldeseite erwähnt.
Nachdem WIRED-Journalisten Kontakt mit ihnen aufgenommen hatten, versuchten Netzwerkbeamte, ihre Spuren zu verwischen, indem sie Social-Media-Kanäle umbenannten und Erwähnungen des Unternehmens von ihren Websites entfernten.
Apple, Google und Meta reagierten
Apple hat 19 Anwendungen aus seinem App Store entfernt, darunter Viefur (Tierporträt-Editor). Ein Sprecher erklärte, dass die Apps bei der Überprüfung den Regeln entsprochen hätten, die Entwickler jedoch später die externen Inhalte geändert hätten.
Der Konzern aus Cupertino weist darauf hin, dass er Zehntausende Bewerbungen wegen ähnlicher Taktiken gesperrt und kürzlich seine App-Store-Regeln aktualisiert hat, um die Beschränkungen zu verschärfen.
Google hat auch die meisten gemeldeten Apps entfernt, bevor es kontaktiert wurde. Meta sagte, es habe KeLing Technology Limited bereits im Jahr 2023 von seinen Werbeplattformen verbannt, räumt jedoch ein, dass das Unternehmen weiterhin auf andere Weise tätig war.
Nachdem WIRED die Liste der Domains freigegeben hatte, ging Meta gegen mehr als 11.600 Werbekonten und Tausende mit dem Netzwerk verknüpfte Seiten und Benutzer vor.
VERDRAHTET
