Zurück zur Übersicht
BranchennachrichtenKI-SicherheitLLMCybersecurity

Sicherheitslücke bei KI-Modellen: Forscher extrahieren verborgene Gedankengänge aus proprietären APIs

Ein neuer Forschungsbericht mit dem Titel „Stealing Reasoning Traces from Proprietary LLM APIs“ deckt eine kritische Schwachstelle bei führenden KI-Anbietern wie OpenAI, Anthropic und Google auf. Durch eine Methode namens „Encrypted Thought Injection“ ist es möglich, die eigentlich verborgenen Denkprozesse (Reasoning Traces) leistungsstarker Modelle zu stehlen. Dabei werden verschlüsselte Datenblöcke, die normalerweise nur zur Fortführung von Konversationen dienen, in schwächere, manipulierte Modelle injiziert. Diese geben die internen Überlegungen des Ursprungsmodells daraufhin im Klartext aus. Die Analyse zeigt, dass die extrahierten Daten exakt mit der Anzahl der vom System gemeldeten „Thinking Tokens“ übereinstimmen. Bei den Untersuchungen wurden zudem hunderte technische Identifikatoren sowie sensible Informationen wie PII und Zugangsdaten in den Datenströmen entdeckt.

Hacker News

Die wichtigsten Punkte

  • Neue Angriffsmethode entdeckt: Forscher demonstrieren, wie verborgene Denkprozesse (Reasoning Traces) aus geschlossenen KI-APIs extrahiert werden können.
  • Ausnutzung der Portabilität: Verschlüsselte Gedankenblöcke können aus ihrem ursprünglichen Kontext gerissen und in andere Modelle injiziert werden.
  • Betroffene Anbieter: Die Schwachstelle wurde bei Modellen von OpenAI, Anthropic und Google nachgewiesen.
  • Datenleck-Risiko: Neben den Denkprozessen wurden technische Identifikatoren, personenbezogene Daten (PII) und Anmeldedaten in den Traces gefunden.
  • Präzise Rekonstruktion: Die extrahierten Texte entsprechen exakt der Anzahl der vom System angegebenen verborgenen Token.

Analyse

Die Mechanik der „Encrypted Thought Injection“

Moderne KI-Anbieter senden die internen Gedankengänge eines Modells oft als verschlüsselten Block an den Client zurück. Dieser Block wird bei einer Fortsetzung der Konversation wieder an den Server gesendet, um den Kontext zu wahren. Die Forschung zeigt nun, dass diese Blöcke „portabel“ sind. Das bedeutet, ein verschlüsselter Gedankenblock eines hochleistungsfähigen Modells (wie Claude 4 Opus) kann abgefangen und in ein schwächeres, durch einen Jailbreak manipuliertes Modell (wie Claude Haiku) eingespeist werden. Das schwächere Modell fungiert dabei als Entschlüsselungswerkzeug und gibt die ursprünglichen, geheimen Gedankengänge wortwörtlich im Klartext aus.

Umfang und gefundene Daten

Die Untersuchung basierte unter anderem auf der Lösung von 120 Codeforces-Problemen. Dabei korrelierte die Länge der dekodierten Texte präzise mit der Anzahl der „Hidden Thinking Tokens“, die von der API gemeldet wurden. Besonders besorgniserregend ist die Art der extrahierten Informationen. In den über 6.700 gesammelten Datenpunkten fanden die Forscher 351 eindeutige geleakte Elemente, darunter 204 technische Identifikatoren, 126 personenbezogene Informationen (PII) und 23 Sätze von Zugangsdaten (Credentials). Dies verdeutlicht, dass die internen Denkprozesse der Modelle weitaus mehr sensible Informationen enthalten können, als in der finalen Textausgabe sichtbar ist.

Bedeutung für die KI-Branche

Dieser Durchbruch in der Sicherheitsforschung stellt das aktuelle Vertrauensmodell von „Hidden Reasoning“ in Frage. Während Anbieter versuchen, die internen Logikschritte ihrer Modelle zu verbergen – sei es zum Schutz des geistigen Eigentums oder zur Verbesserung der Nutzererfahrung –, zeigt dieser Angriff, dass die aktuelle technische Umsetzung der Verschlüsselung unzureichend ist. Für die Branche bedeutet dies eine notwendige Überarbeitung der API-Sicherheit und der Art und Weise, wie Kontextdaten zwischen Client und Server übertragen werden, um Industriespionage und den Abfluss sensibler Daten zu verhindern.

Häufig gestellte Fragen

Frage: Was ist eine „Reasoning Trace“?

Eine Reasoning Trace ist die Abfolge von internen Gedankengängen, die ein KI-Modell durchläuft, bevor es eine endgültige Antwort generiert. Diese Schritte sind für den Nutzer normalerweise nicht sichtbar.

Frage: Welche Modelle sind von dieser Sicherheitslücke betroffen?

Die Forscher konnten den Angriff erfolgreich bei den führenden Modellen der großen Anbieter OpenAI, Anthropic und Google demonstrieren.

Frage: Welche Gefahr besteht durch das Auslesen dieser Daten?

Neben dem Diebstahl von geistigem Eigentum (wie das Modell denkt) besteht die Gefahr, dass sensible Daten wie Passwörter oder persönliche Informationen, die das Modell während des Denkprozesses verarbeitet, an die Öffentlichkeit gelangen.

Ähnliche Nachrichten

Google Duplex in Gemini: Wie sich der Dienst für Anrufe bei Unternehmen weiterentwickelt hat
Branchennachrichten

Google Duplex in Gemini: Wie sich der Dienst für Anrufe bei Unternehmen weiterentwickelt hat

Google Duplex wurde laut einer Überschrift im Google Research Blog so weiterentwickelt, dass es in Gemini auch im Auftrag von Nutzern bei Unternehmen anrufen kann. Die Meldung ist dem Thema generative KI zugeordnet. Der bereitgestellte Originalinhalt besteht allerdings nur aus dieser Themenangabe. Die Information über die Anrufe stammt daher aus der Überschrift. Sie benennt das Ergebnis der Weiterentwicklung, beschreibt aber weder die einzelnen Schritte noch die technische Umsetzung. Auch zur Verfügbarkeit, zu den Voraussetzungen für die Nutzung und zu konkreten Anwendungsfällen liegen keine Angaben vor. Entsprechend lässt sich die genannte Funktion einordnen, ohne daraus Rückschlüsse auf ihren Umfang oder ihre Funktionsweise zu ziehen.

Formale Verifikation von Software: Wie KI und Lean bei mathematischen Korrektheitsbeweisen helfen
Branchennachrichten

Formale Verifikation von Software: Wie KI und Lean bei mathematischen Korrektheitsbeweisen helfen

Softwarekorrektheit mathematisch nachzuweisen, war traditionell eine Aufgabe für Fachleute. Richard MacManus beschreibt bei Latent Space, wie KI und Lean heute dabei helfen, diesen Prozess zu automatisieren. Im Mittelpunkt steht die formale Verifikation: Der Nachweis, dass Software korrekt ist, wird mit mathematischen Mitteln geführt. Die Veränderung betrifft laut Meldung den Weg zu diesem Nachweis. KI und Lean unterstützen die Automatisierung eines Prozesses, für den bislang spezialisierte Arbeit nötig war. Der Titel rahmt die formale Verifikation als Mittel gegen minderwertige Inhalte. Die Kurzmeldung selbst bleibt beim konkreten Anwendungsfall Software. Sie nennt weder einzelne automatisierte Arbeitsschritte noch das Ausmaß der Automatisierung. Von einem vollständig automatisierten Verfahren ist nicht die Rede.

Riemannsche Vermutung: Eine KI und ein Mensch beanspruchen jeweils eine Lösung
Branchennachrichten

Riemannsche Vermutung: Eine KI und ein Mensch beanspruchen jeweils eine Lösung

Eine KI und ein Mensch beanspruchen laut TechCrunch AI jeweils, die Riemannsche Vermutung gelöst zu haben. Die Meldung bezeichnet die Vermutung als 167 Jahre alt und berichtet, dass das jüngste KI-gestützte Ergebnis unter Mathematikerinnen und Mathematikern für Erstaunen sorgt. Dem KI-gestützten Ergebnis steht ein konkurrierender menschlicher Lösungsanspruch gegenüber. Entscheidend ist die Unterscheidung zwischen dem Anspruch, eine Lösung gefunden zu haben, und der Bestätigung, dass die Vermutung tatsächlich gelöst wurde. Der vorliegende Meldungstext bestätigt weder den KI-gestützten noch den menschlichen Lösungsanspruch und erläutert auch nicht, worin die beiden Ansätze bestehen. Damit berichtet der Beitrag von Tim Fernholz über zwei konkurrierende Ansprüche, ohne über deren Gültigkeit zu entscheiden.