Zusammenfassung - Laufen im KREIS? Ein einfaches Benchmark für die Sicherheit von LLM-Code-Interpreten

Laufen im KREIS? Ein einfaches Benchmark für die Sicherheit von LLM-Code-Interpreten

2025-07-25 16:06:16

{"Gabriel Chua"}

{cs.CR,cs.AI}

Der CIRCLE-Benchmark bewertet die Cybersicherheitslücken großer Sprachmodelle (LLMs) mit integrierten Code-Interpreten. Er konzentriert sich darauf, Risiken im Zusammenhang mit CPU, Speicher und Ausnutzung von Festplattenressourcen zu identifizieren. Der Benchmark nutzt eine umfassende Risikotaxonomie mit doppelten Prompt-Varianten (bösartig und harmlos) und ein automatisiertes, mehrfachen Anbietern zugewiesenes Bewertungswerkzeug. Kernelemente aus der Bewertung von sieben kommerziellen LLMs (OpenAI und Google) offenbaren erhebliche und unzureichend konsistente Lücken. Zum Beispiel lehnt OpenAI's o4-mini risikoreiche Anfragen mit höherer Wahrscheinlichkeit als GPT-4.1 ab. Die Studie betont die Notwendigkeit spezifischer Cybersicherheitsbenchmarks für Interpreter, Abhilfemaßnahmen und Branchenstandards, um die sichere Implementierung von LLM-Interpreter-Integrationen zu gewährleisten. Das Benchmark-Datenset und die Bewertungscode werden öffentlich freigegeben, um weitere Forschung zu fördern. Der CIRCLE-Benchmark schließt eine kritische Lücke bei der Bewertung von Interpreter-zentrierten Ressourcen-Ausnutzungsangriffen in LLMs. Er bietet eine umfassende Risikotaxonomie, ein automatisiertes Bewertungswerkzeug und offenen Zugang. Die Ergebnisse betonen die Notwendigkeit verbesserten Cybersicherheitsmaßnahmen in LLMs mit integrierten Code-Interpreten.