jackpress – shutterstock.com
Nur wenige Tage, nachdem Cybersicherheitsanalysten davor gewarnt hatten, den neuen Atlas-Browser von OpenAI zu installieren, haben Forscher von LayerX Security eine Schwachstelle entdeckt. Die Lücke soll es Angreifen ermöglichen, bösartige Befehle direkt in den ChatGPT-Speicher der Anwender einzuschleusen und Remote-Code auszuführen.
So funktioniert der Exploit
Wie Or Eshed, Mitbegründer und CEO von LayerX, in seinem Blogbeitrag erklärt, läuft der Exploit in fünf Schritte ab. Im ersten Schritt meldet sich ein Benutzer bei ChatGPT an, und ein Authentifizierungs-Cookie oder -Token wird in seinem Browser gespeichert. Im nächsten Schritt klickt das Opfer auf einen bösartigen Link, der ihn zu einer kompromittierten Webseite führt.
Anschließend ruft die bösartige Seite eine Cross-Site-Request-Forgery-Anfrage (CSRF) auf, um die bereits vorhandene Authentifizierung des Anwenders bei ChatGPT auszunutzen. Im vierten Schritt injiziert der CSRF-Exploit dann ohne Wissen des Benutzers versteckte Anweisungen in den Speicher von ChatGPT und kontaminiert so die Memory des LLM.
Im fünften Schritt werden die beschädigten Speicherbestandteile aufgerufen, wenn der User ChatGPT abfragt. Dadurch kann bösartiger Code bereitgestellt werden, der Angreifern die Kontrolle über Systeme oder Code ermöglicht.
Über den Speicher von ChatGPT sichert der KI-Chatbot Details wie Benutzeranfragen, Chats und Aktivitäten, Präferenzen und Stilnotizen , worauf er mit personalisierten und relevanten Informationen reagieren kann.
„Der Speicher befindet sich auf Kontoebene und bleibt über Sitzungen, Browser und Geräte hinweg bestehen, sodass ein einziger erfolgreicher Köder den Benutzer von zu Hause ins Büro und vom privaten in den geschäftlichen Kontext begleitet“, erläutert Amit Jaju, Global Partner/Senior Managing Director bei Ankura Consulting. „In BYOD- oder gemischt genutzten Umgebungen löst diese Persistenz auch nach einem Neustart oder einem Browserwechsel erneut riskante Verhaltensweisen aus und erweitert den Explosionsradius über einen einzelnen Endpunkt hinaus. Dies ist besonders besorgniserregend, wenn persönliche ChatGPT-Konten für Arbeitsaufgaben verwendet werden.“
Jaju räumt ein, dass die Akzeptanz innerhalb von Unternehmen derzeit noch sehr gering sei. Atlas wurde gerade erst eingeführt, ist nur für macOS verfügbar und der Unternehmenszugang ist standardmäßig deaktiviert. Daher beschränkt sich die Nutzung auf Pilotprojekte und nicht genehmigte Installationen. Da es jedoch standardmäßig in Business-Arbeitsbereichen verfügbar ist, ist eine Ausweitung auf die berufliche Nutzung plausibel.
Ein Sprecher von OpenAI gab in Bezug auf die Sicherheitslücke folgendes Statement: „Nach unserem Kenntnisstand hat dieses Problem keine Auswirkungen auf ChatGPT Atlas, da dieses nicht anfällig für diese Art von Cross-Site-Request-Forgery-Angriffen (CSRF) ist. Wir haben LayerX um weitere Informationen gebeten – auf der Grundlage der bisher vorgelegten Informationen konnten wir die Ergebnisse des Berichts nicht reproduzieren. Bislang sind uns keine Versuche bekannt, dies in der Praxis auszunutzen.“
So erkennen Sie einen Angriff
Das Aufspüren einer speicherbasierten Kompromittierung in ChatGPT Atlas ist nicht mit der Suche nach herkömmlicher Malware vergleichbar. Es gibt keine Dateien, Registrierungsschlüssel oder ausführbaren Dateien, die isoliert werden müssen. Stattdessen müssen Sicherheitsteams nach Verhaltensauffälligkeiten Ausschau halten. Dazu zählen zum Beispiel subtile Veränderungen in der Art und Weise, wie der Chatbot reagiert, was er vorschlägt und wann er dies tut.
„Ein Sprachassistent, der plötzlich Skripte mit ausgehenden URLs anbietet oder die Absichten des Benutzers zu genau vorhersagt, stützt sich möglicherweise auf injizierte Speichereinträge“, mahnt Sanchit Vir Gogia, CEO und Chefanalyst bei Greyhound Research. „Wenn der Speicher kompromittiert ist, kann die KI mit unberechtigtem Kontext agieren. Das sollte ein Warnsignal sein“
Analysten müssten darauf achten, Browser-Protokolle, Zeitstempel von Speicheränderungen und Prompt-Response-Sequenzen miteinander zu korrelieren, fügt Gogia hinzu. „Das Exportieren und Parsen des Chat-Verlaufs ist unerlässlich.“ SOC-Teams sollten besonders auf Sequenzen achten, in denen Benutzer auf unbekannte Links geklickt haben, gefolgt von ungewöhnlichen Speicheraktualisierungen oder KI-gesteuerten Agentenaktionen.
Der Experte von Greyhound Research verweist darauf, dass es sich hierbei nicht um ein Plug-and-Play-Erkennungsproblem handle. Sicherheitsmaßnahmen begännen damit, dass Atlas für das Unternehmen standardmäßig deaktiviert bleibt. Im Geschäftsbereich sollte es auf streng begrenzte Pilotprojekte mit nicht sensiblen Daten beschränkt werden.
Jaju von Ankura Consulting fügte hinzu, dass Unternehmen für die Überwachung Erkennungsmechanismen für KI-vorgeschlagenen Code, das Abrufen von Remote-Payloads, ungewöhnliche Ausgänge nach der Nutzung von ChatGPT und Session-Riding-Verhalten in SaaS hinzufügen sollten. Er schlug außerdem vor, Webfilter für neu registrierte oder nicht kategorisierte Domains zu aktivieren.
Gogia ergänzte: „Sobald der Speicher eines Atlas-Benutzers kompromittiert ist, liegt die Bedrohung in der Cloud-gebundenen Identität und nicht in einem bestimmten Rechner.“ Deshalb müsse die Reaktion beim Konto ansetzen. „Der Speicher muss gelöscht werden. Die Anmeldedaten sollten rotiert werden. Der gesamte aktuelle Chat-Verlauf sollte auf Anzeichen von Manipulation, versteckter Logik oder manipuliertem Aufgabenablauf überprüft werden.“
Sind KI-Browser sicher?
Neben der Identifizierung der Schwachstelle behauptet LayerX, dass ChatGPT Atlas auch nicht in der Lage sei, Phishing-Angriffe zu stoppen. In den von dem Unternehmen durchgeführten Tests hatte ChatGPT Atlas eine Fehlerquote von über 94 Prozent. Von den insgesamt 103 Angriffen in freier Wildbahn waren 97 erfolgreich.
Auch bei anderen KI-Browsern, die das Unternehmen im vergangenen Monat getestet hatte, waren die Ergebnisse nicht gerade überragend. Comet und Genspark von Perplexity konnten nur sieben Prozent der Phishing-Angriffe abwehren, während nur Dia von Arc Browser gegenüber 46 Prozent der Attacken resistent war. Die traditionellen Browser wie Edge und Chrome sind vergleichsweise relativ gut ausgestattet und konnten mit ihren Standardschutzfunktionen etwa 50 Prozent der Phishing-Angriffe abfangen. (jm)
Lesetipp: Was CISOs beim Einsatz von GenAI beachten sollten
