Sécurisation des LLM : AI Guardian de Cyera et le Top Ten 2025 de l'OWASP

Les entreprises modernes doivent favoriser l'adoption du LLM sans compromettre la sécurité ou la confiance. Le Top Ten du LLM 2025 de l'OWASP met en lumière les vulnérabilités nuancées qui émergent de la complexité des systèmes d'IA. de Cyera Gardien de l'IA—combinant Gestion de la posture de sécurité de l'IA et Protection de l'exécution de l'IA—offre une visibilité et une application continues à chaque étape : des pipelines de formation aux résultats en direct. Avec DLP Omni en amplifiant la protection des données, la confidentialité, l'intégrité et la fiabilité du LLM deviennent applicables.

Principaux avantages :

• Visibilité totale : Cataloguez tous les outils d'IA, y compris les produits d'IA externes tels que ChatGPT, les applications d'IA intégrées comme Copilot et les outils d'IA développés localement sur des plateformes comme Amazon Bedrock.
• La gouvernance en toute simplicité : Les parties prenantes de la sécurité, de la conformité et de l'entreprise ont la certitude que les services soutenus par LLM respectent les politiques que vous définissez.
• Renseignements en temps réel : Les alertes concernant les invites, les sorties et les flux de données risqués aident les équipes à réagir rapidement.
  
  
• Risque réduit, adoption accélérée : Les équipes peuvent innover grâce à l'IA tout en réduisant les injections rapides, les fuites de données et les utilisations abusives, grâce aux politiques de sécurité des données et aux mesures correctives de Cyera.

Cet article vous présentera chacun des dix meilleurs LLM de l'OWASP, en décrivant brièvement à la fois la nature de la vulnérabilité et les informations issues d'un nouveau Rapport sur l'état de la sécurité des données liées à l'IA en 2025 par Cybersecurity Insiders, en collaboration avec Cyera Research Labs (le Rapport). Nous verrons également comment Cyera peut vous aider à atténuer votre exposition.

LLM01 2025 : Injection rapide

L'injection rapide se produit lorsque des entrées malveillantes, visibles ou masquées, manipulent un LLM pour contourner les règles de sécurité, exposer des données sensibles ou prendre des mesures injustifiées. Les injections directes (instructions de l'utilisateur) et indirectes (intégrées dans du contenu externe) peuvent inciter le modèle à ignorer les contraintes du système. Selon le rapport, plus de la moitié des personnes interrogées ont indiqué que l'injection rapide était leur principale préoccupation.

La protection AI Runtime d'AI Guardian surveille les entrées en temps réel, étiquette les sources non fiables et met en quarantaine les demandes suspectes. Couplé à SPAM AÉRIEN, il applique une segmentation stricte des politiques, garantissant ainsi que les instructions système restent isolées du contenu utilisateur. Omni DLP analyse en outre les charges utiles dissimulées, empêchant ainsi toute manipulation rapide avant qu'elles n'atteignent le modèle.

LLM02 2025 : Divulgation d'informations sensibles

Les LLM peuvent révéler par inadvertance des algorithmes propriétaires, des adresses IP ou des données personnelles, qu'ils aient été divulgués pendant la formation, les réglages ou les réponses. La divulgation de code interne, de stratégies d'investissement ou de secrets commerciaux peut entraîner de graves risques en matière de confidentialité et de concurrence.

Le danger n'est pas théorique. Selon le rapport, 86 % des personnes interrogées se disent préoccupées par la fuite de données sensibles par l'IA, et les deux tiers ont déjà découvert des outils d'IA accédant à des données dont ils n'avaient pas besoin.

AI SPM suit l'emplacement des données sensibles et les actifs d'IA qui y ont accès, garantissant ainsi une exposition minimale. Runtime Protection supprime ou signale les sorties qui risquent de divulguer des actifs protégés. Omni DLP ajoute une couche supplémentaire en analysant les tentatives d'exfiltration et en veillant à ce que les données privées ne quittent pas le système.

LLM03 2025 : Chaîne d'approvisionnement

Les menaces en cours de développement ou de déploiement, par exemple des modèles tiers, des plug-ins ou des SDK compromis, peuvent introduire des logiciels malveillants cachés ou des portes dérobées. Un maillon faible, tel qu'une bibliothèque malveillante, peut saper l'ensemble de l'écosystème LLM.

AI SPM évalue en permanence les dépendances et les sources de code pour détecter les anomalies, en signalant les comportements inhabituels ou les modifications non autorisées. Lors de l'exécution, le système détecte les appels de plug-in non autorisés ou l'utilisation suspecte d'un modèle externe, mettant en quarantaine les composants compromis avant qu'ils n'affectent la production.

LLM04 2025 : Empoisonnement des données et des modèles

Les adversaires peuvent injecter des données malveillantes ou biaisées dans des ensembles de données d'entraînement ou de réglage, déclenchant ainsi des portes dérobées ou faussant le comportement du modèle. Un tel empoisonnement peut rester caché jusqu'à ce que des entrées spécifiques activent un comportement nocif. Selon le rapport, 40 % des organisations craignent que des données sensibles ne soient intégrées dans les ensembles de données de formation.

AI SPM analyse les pipelines de formation, détecte les modèles anormaux ou les données aberrantes et applique des portes de validation. Il peut également détecter les cas où une banque de données d'entraînement est modifiable publiquement, ce qui crée un risque d'empoisonnement du modèle. Au moment de l'exécution, AI Runtime Protection surveille les changements de comportement ou les biais inattendus, en alertant les équipes ou en revenant immédiatement à des versions de modèle sûres.

LLM05 2025 : Gestion incorrecte des sorties

Lorsque les sorties générées ne sont pas contrôlées, comme le code qui s'exécute automatiquement ou le transfert de réponses, les LLM peuvent déclencher des actions dangereuses ou exposer des vulnérabilités. Une analyse incorrecte peut également injecter du contenu préjudiciable en aval. Selon le rapport, près d'un quart des organisations ne disposent d'aucun contrôle des commandes de commande ou de sortie, tandis qu'un autre quart n'utilise que la rédaction des résultats.

AI Runtime Protection intercepte toutes les sorties LLM et les valide par rapport aux schémas et politiques de sécurité attendus avant leur publication. AI SPM garantit que les sorties ne déclenchent pas d'appels système non autorisés. Omni DLP recherche les charges utiles cachées dans les sorties, empêchant ainsi les fuites ou l'injection de commandes.

LLM06 2025 : Agentivité excessive

L'octroi d'une large autonomie aux LLM, comme la planification, l'exécution de tâches ou la modification de systèmes, peut entraîner un comportement autonome néfaste. Sans contrôle strict, les modèles peuvent prendre des mesures imprévues. Selon le rapport, les trois quarts des personnes interrogées affirment que les agents autonomes sont les outils d'IA les plus difficiles à sécuriser, mais seuls 14 % disposent d'une détection des agents indésirables en temps réel et 11 % seulement ont mis en œuvre un blocage automatique.

AI SPM applique les règles du moindre privilège, limitant ce que le LLM peut initier, permettant aux organisations de activer l'IA en toute sécurité. AI Runtime Protection nécessite une approbation basée sur des règles ou un examen humain lorsque les LLM demandent des actions élevées. Cela garantit que les actions autonomes sont surveillées et contrôlées.

LLM07 2025 : Fuite rapide du système

La fuite d'instructions internes au système (instructions en coulisse qui guident le comportement du LLM) compromet les barrières et permet aux attaquants de concevoir des manipulations plus efficaces. Comme indiqué ci-dessus, près d'un quart des organisations n'ont mis en place aucun contrôle pour surveiller les instructions et les sorties, ce qui les rend vulnérables aux fuites rapides du système.

AI Runtime Protection masque les instructions du système et s'abstient de les inclure dans les sorties. AI SPM impose une séparation stricte entre les messages du système et les interactions des utilisateurs. Les outils de surveillance alertent si des instructions internes apparaissent dans les journaux ou les sorties, ce qui permet une correction immédiate.

LLM08 2025 : Faiblesses liées au vecteur et à l'intégration

Les faiblesses de l'intégration des magasins, telles que les vecteurs non chiffrés ou la structure prévisible, peuvent être exploitées pour reconstruire des données, déduire des jetons sensibles ou insérer des intégrations malveillantes. Selon le rapport, les trois cinquièmes des personnes interrogées ont indiqué que le risque d'accès aux données constituait une préoccupation majeure

AI SPM applique le chiffrement au repos pour intégrer les boutiques, applique les contrôles d'accès et détecte les requêtes d'intégration anormales. Runtime Protection surveille les modèles d'utilisation des API vectorielles pour signaler les accès inhabituels ou les falsifications, bloquant ainsi les interactions suspectes.

LLM09 2025 : Désinformation

Les LLM peuvent halluciner ou produire en toute confiance du contenu faux ou trompeur, portant atteinte à la crédibilité, diffusant de la désinformation ou influant sur la prise de décision. Selon le rapport, un tiers des organisations craignent que du contenu halluciné ne se retrouve dans leurs systèmes d'information.

AI SPM intègre des politiques de validation des références et de vérification des faits, en évaluant les résultats en termes de fiabilité. Les résultats signalés comme étant peu fiables ou potentiellement inexacts déclenchent des réponses de secours ou un examen humain. Runtime Protection analyse les tendances du contenu pour détecter les modèles de désinformation, privilégiant ainsi la précision à la rapidité.

LLM10 2025 : consommation illimitée

Les entrées ou les sorties non contrôlées, telles que des instructions de longueur illimitée, des boucles infinies ou une utilisation simultanée excessive, peuvent entraîner des coûts exorbitants, une dégradation des performances ou des conditions de déni de service. L'absence de fonctionnalités de surveillance et de blocage en temps réel signifie que les dispositifs de protection en matière d'utilisation et de dépenses sont faibles. Comme nous l'avons vu, le rapport montre que seul un faible pourcentage d'entreprises disposent d'une détection des agents indésirables en temps réel et d'un blocage automatique.

AI SPM définit des seuils d'utilisation (limites de jetons, plafonds de simultanéité). Runtime Protection les applique en temps réel, en limitant, en mettant en file d'attente ou en rejetant les demandes qui dépassent les limites. Les tableaux de bord de consommation alertent les administrateurs avant que les limites de ressources ne soient dépassées, garantissant ainsi un fonctionnement fluide et maîtrisé des coûts.

À mesure que les entreprises déploient des LLM pour le support client, l'automatisation interne et les fonctionnalités des produits, ces menaces deviendront critiques pour l'entreprise. Heureusement, AI Guardian de Cyera fournit aux équipes les politiques, la visibilité et les défenses nécessaires pour transformer les risques LLM en une gouvernance gérable, une base de confiance pour les progrès réalisés grâce à l'IA. Pour voir comment AI Guardian de Cyera peut aider votre organisation, planifiez une démonstration dès aujourd'hui.