Sicherung von LLMs: Cyeras AI Guardian und die OWASP Top Ten 2025

Moderne Unternehmen müssen die Einführung von LLM fördern, ohne dabei die Sicherheit oder das Vertrauen zu gefährden. Die LLM Top Ten 2025 von OWASP heben die nuancierten Sicherheitslücken hervor, die sich aus der Komplexität von KI-Systemen ergeben. Cyeras KI-Wächter— kombinieren KI-Sicherheitsmanagement und KI-Laufzeitschutz— bietet kontinuierliche Transparenz und Durchsetzung in jeder Phase: von den Schulungspipelines bis hin zu Live-Ergebnissen. Mit Omni DLP Durch die Verstärkung des Datenschutzes werden Vertraulichkeit, Integrität und Zuverlässigkeit im LLM durchsetzbar.

Die wichtigsten Vorteile:

• Volle Sichtbarkeit: Katalogisieren Sie alle KI-Tools, einschließlich externer KI-Produkte wie ChatGPT, eingebetteter KI-Apps wie Copilot und selbst entwickelter KI-Tools, die auf Plattformen wie Amazon Bedrock basieren.
• Unternehmensführung leicht gemacht: Stakeholder aus den Bereichen Sicherheit, Compliance und Unternehmen können sich darauf verlassen, dass die von LLM unterstützten Dienste die von Ihnen definierten Richtlinien einhalten.
• Intelligenz in Echtzeit: Warnmeldungen über riskante Eingabeaufforderungen, Ausgaben und Datenflüsse helfen Teams, schnell zu reagieren.
  
  
• Geringeres Risiko, beschleunigte Einführung: Teams können mithilfe von KI innovativ sein und gleichzeitig schnelle Eingaben, Datenlecks und Missbrauch reduzieren. Die Durchsetzung erfolgt durch Cybera-Datensicherheitsrichtlinien und Abhilfemaßnahmen.

Dieser Artikel führt Sie durch die einzelnen OWASP Top Ten für LLMs und beschreibt kurz sowohl die Art der Sicherheitslücke als auch die Erkenntnisse aus einem neuen Bericht zum Stand der KI-Datensicherheit 2025 von Cybersecurity Insiders in Zusammenarbeit mit Cyera Research Labs (der Bericht). Wir werden auch sehen, wie Cyera dazu beitragen kann, Ihr Risiko zu verringern.

LLM01 2025: Sofortige Injektion

Prompt Injection erfolgt, wenn böswillige Eingaben — sichtbar oder versteckt — ein LLM manipulieren, um Sicherheitsregeln außer Kraft zu setzen, sensible Daten preiszugeben oder ungerechtfertigte Maßnahmen zu ergreifen. Sowohl direkte (Benutzeraufforderungen) als auch indirekte (in externe Inhalte eingebettete) Injektionen können das Modell dazu verleiten, Systemeinschränkungen zu ignorieren. Dem Bericht zufolge nannten mehr als die Hälfte der Befragten die sofortige Injektion als ihr Hauptproblem.

Der AI Runtime Protection von AI Guardian überwacht Eingaben in Echtzeit, kennzeichnet nicht vertrauenswürdige Quellen und isoliert verdächtige Eingabeaufforderungen. Gekoppelt mit ODER SPAM, setzt es eine strikte Segmentierung der Richtlinien durch und stellt sicher, dass Systemanweisungen von Benutzerinhalten isoliert bleiben. Omni DLP scannt außerdem nach versteckten Nutzlasten und verhindert so, dass Eingabeaufforderungen vorgenommen werden, bevor sie das Modell erreichen.

LLM02 2025: Offenlegung sensibler Informationen

LLMs können versehentlich proprietäre Algorithmen, IP-Adressen oder persönliche Daten preisgeben — unabhängig davon, ob sie während des Trainings, der Feinabstimmung oder bei Antworten durchgesickert sind. Die Offenlegung interner Codes, Anlagestrategien oder Geschäftsgeheimnisse kann zu schwerwiegenden Datenschutz- und Wettbewerbsrisiken führen.

Die Gefahr ist nicht theoretisch. Dem Bericht zufolge geben 86 Prozent der Befragten an, dass sie besorgt sind, dass KI vertrauliche Daten preisgeben könnte, und zwei Drittel haben bereits entdeckt, dass KI-Tools auf Daten zugreifen, die sie nicht benötigen.

AI SPM verfolgt, wo sich sensible Daten befinden und welche KI-Assets Zugriff darauf haben, und sorgt so für ein minimales Risiko. Runtime Protection redigiert oder kennzeichnet Ausgaben, bei denen die Gefahr besteht, dass geschützte Ressourcen preisgegeben werden. Omni DLP fügt eine weitere Ebene hinzu, scannt nach Exfiltrationsversuchen und stellt sicher, dass private Daten das System nicht verlassen.

LLM03 2025: Lieferkette

Bedrohungen in der Entwicklungs- oder Bereitstellungspipeline — z. B. kompromittierte Modelle, Plugins oder SDKs von Drittanbietern — können versteckte Malware oder Hintertüren einführen. Ein schwaches Glied wie eine bösartige Bibliothek kann das gesamte LLM-Ökosystem untergraben.

AI SPM bewertet kontinuierlich Abhängigkeiten und Codequellen auf Anomalien und weist auf ungewöhnliches Verhalten oder unbefugte Änderungen hin. Zur Laufzeit erkennt das System unbefugte Plugin-Aufrufe oder die verdächtige Verwendung externer Modelle und stellt kompromittierte Komponenten unter Quarantäne, bevor sie die Produktion beeinträchtigen können.

LLM04 2025: Daten- und Modellvergiftung

Gegner können bösartige oder voreingenommene Daten in das Training oder die Feinabstimmung von Datensätzen einschleusen und so Hintertüren auslösen oder das Modellverhalten verzerren. Eine solche Vergiftung kann verborgen bleiben, bis bestimmte Eingaben schädliches Verhalten auslösen. Dem Bericht zufolge sind 40 Prozent der Unternehmen besorgt, dass sensible Daten ihren Weg in die Trainingsdatensätze finden könnten.

AI SPM analysiert Trainingspipelines, erkennt anomale Muster oder Ausreißerdaten und setzt Validierungs-Gates durch. Es kann auch erkennen, wenn ein Trainingsdatenspeicher öffentlich bearbeitet werden kann, wodurch das Risiko einer Modellvergiftung besteht. Zur Laufzeit achtet AI Runtime Protection auf Verhaltensänderungen oder unerwartete Verzerrungen und alarmiert Teams oder führt sofort ein Rollback zu sicheren Modellversionen durch.

LLM05 2025: Unsachgemäßer Umgang mit der Ausgabe

Wenn generierte Ausgaben ungeprüft ablaufen — wie z. B. automatische Codeausführung oder Weiterleitung von Antworten — können LLMs unsichere Aktionen auslösen oder Sicherheitslücken aufdecken. Durch unsachgemäßes Parsen können auch schädliche Inhalte nachgelagert werden. Dem Bericht zufolge verfügt fast ein Viertel der Unternehmen über keine Eingabeaufforderungs- oder Ausgabekontrollen, während ein weiteres Viertel nur die redaktionelle Bearbeitung der Ausgabe verwendet.

AI Runtime Protection fängt alle LLM-Ausgaben ab und validiert sie vor der Veröffentlichung anhand der erwarteten Schemata und Sicherheitsrichtlinien. AI SPM stellt sicher, dass Ausgaben keine unbefugten Systemaufrufe auslösen. Omni DLP sucht nach versteckten Nutzlasten in den Ausgängen und verhindert so Leckagen oder Befehlsinjektionen.

LLM06 2025: Übermäßige Entscheidungsfreiheit

Wenn LLMs weitreichende Autonomie eingeräumt wird — etwa bei der Planung, Ausführung von Aufgaben oder der Änderung von Systemen — kann dies zu schädlichem autonomen Verhalten führen. Ohne strenge Kontrolle können Modelle unbeabsichtigte Maßnahmen ergreifen. Dem Bericht zufolge geben drei Viertel der Befragten an, dass autonome Agenten die am schwierigsten zu schützenden KI-Tools sind, aber nur 14 Prozent verfügen über eine Erkennung nicht autorisierter Agenten in Echtzeit, und nur 11 Prozent haben eine automatische Blockierung implementiert.

KI-SPM setzt Regeln mit geringsten Rechten durch und schränkt ein, was das LLM initiieren kann, sodass Unternehmen KI sicher aktivieren. AI Runtime Protection erfordert eine richtlinienbasierte Genehmigung oder eine menschliche Überprüfung, wenn LLMs erweiterte Aktionen anfordern. Dadurch wird sichergestellt, dass autonome Aktionen überwacht und gesteuert werden.

LLM07 2025: Leckage an der Systemaufforderung

Das Durchsickern interner Systemaufforderungen (Anweisungen hinter den Kulissen, die das LLM-Verhalten leiten) untergräbt die Leitplanken und ermöglicht es Angreifern, effektivere Manipulationen zu entwickeln. Wie bereits erwähnt, verfügt fast ein Viertel der Unternehmen über keine Kontrollmechanismen zur Überwachung von Eingabeaufforderungen und Ergebnissen, sodass sie anfällig für undichte System-Prompts sind.

AI Runtime Protection maskiert Systemaufforderungen und nimmt sie nicht in Ausgaben auf. AI SPM erzwingt eine strikte Trennung zwischen Systemnachrichten und Benutzerinteraktionen. Überwachungstools warnen, wenn interne Eingabeaufforderungen in Protokollen oder Ausgaben erscheinen, und ermöglichen so eine sofortige Behebung.

LLM08 2025: Vektor- und Einbettungsschwächen

Schwächen bei der Einbettung von Speichern — wie unverschlüsselte Vektoren oder vorhersagbare Strukturen — können ausgenutzt werden, um Daten zu rekonstruieren, sensible Token abzuleiten oder bösartige Einbettungen einzufügen. Dem Bericht zufolge nannten drei Fünftel der Befragten das Datenzugriffsrisiko als erhebliches Problem

AI SPM erzwingt Verschlüsselung im Ruhezustand beim Einbetten von Speichern, erzwingt Zugriffskontrollen und erkennt anomale Einbettungsabfragen. Runtime Protection überwacht Vektor-API-Nutzungsmuster, um ungewöhnliche Zugriffe oder Manipulationen zu kennzeichnen und verdächtige Interaktionen zu blockieren.

LLM09 2025: Fehlinformationen

LLMs können halluzinieren oder selbstbewusst falsche oder irreführende Inhalte produzieren — was der Glaubwürdigkeit schadet, Desinformation verbreitet oder die Entscheidungsfindung beeinträchtigt. Dem Bericht zufolge macht sich ein Drittel der Unternehmen Sorgen, dass halluzinierte Inhalte ihren Weg in ihre Informationssysteme finden könnten.

AI SPM integriert Richtlinien zur Referenzvalidierung und zur Überprüfung von Fakten und bewertet die Ergebnisse auf ihre Zuverlässigkeit. Ergebnisse, die als wenig zuverlässig oder potenziell ungenau eingestuft werden, lösen sichere Fallback-Antworten oder eine menschliche Überprüfung aus. Runtime Protection überprüft Inhaltstrends auf Fehlinformationsmuster und setzt Genauigkeit vor Geschwindigkeit.

LLM10 2025: Unbegrenzter Konsum

Unkontrollierte Ein- oder Ausgänge — wie z. B. Eingabeaufforderungen mit unbegrenzter Länge, Endlosschleifen oder übermäßiger gleichzeitiger Nutzung — können zu außer Kontrolle geratenen Kosten, Leistungseinbußen oder Denial-of-Service-Bedingungen führen. Fehlende Überwachungs- und Blockierungsfunktionen in Echtzeit bedeuten, dass die Nutzungs- und Ausgabenbegrenzungen schwach sind. Wie wir gesehen haben, zeigt der Bericht, dass nur ein kleiner Prozentsatz der Unternehmen betrügerische Agenten in Echtzeit erkennt und automatisiert blockiert.

AI SPM legt Nutzungsgrenzwerte fest (Token-Limits, Parallelitätsgrenzen). Runtime Protection setzt diese in Echtzeit durch, indem Anfragen, die Grenzwerte überschreiten, gedrosselt, in die Warteschlange gestellt oder abgewiesen werden. Dashboards zum Verbrauch warnen Administratoren, bevor die Ressourcenobergrenzen überschritten werden, und sorgen so für einen reibungslosen, kostenkontrollierten Betrieb.

Da Unternehmen LLMs für den Kundensupport, die interne Automatisierung und die Produktfunktionen einsetzen, werden diese Bedrohungen geschäftskritisch. Zum Glück stattet der AI Guardian von Cyera die Teams mit den Richtlinien, der Transparenz und den Abwehrmaßnahmen aus, die erforderlich sind, um LLM-Risiken in eine überschaubare Governance umzuwandeln — eine Vertrauensbasis für KI-gestützten Fortschritt. Um zu erfahren, wie der AI Guardian von Cyera Ihrem Unternehmen helfen kann, vereinbaren Sie noch heute eine Demo.