Anticipez la dérive de mission

Points clés

• La prise de décision probabiliste de l'IA agentique peut progressivement altérer les valeurs de l'entreprise dans la pratique, provoquant une dérive de mission.
• Contrairement aux logiciels déterministes, les agents IA interprètent les intentions et prennent des décisions qui influencent la culture et l'expérience client.
• Le biais d'automatisation donne aux décisions basées sur l'IA une apparence d'objectivité, masquant les compromis fondés sur les valeurs et compliquant la détection de la dérive.
• Une gouvernance efficace nécessite une visibilité sur l'accès, les actions et les signaux de décision des agents afin de préserver le pouvoir de décision humain.
• Cyera permet aux organisations de surveiller, de limiter et de faire remonter les comportements des agents, protégeant ainsi à la fois les données et l'intégrité de l'entreprise.

La plupart des discussions sur l'IA agentique se concentrent sur la vitesse, la productivité et l'automatisation. Les échanges plus prudents portent sur la sécurité, la confidentialité et la conformité.

Mais il existe un autre risque auquel les dirigeants devraient prêter attention : la dérive de mission.

La dérive de mission survient lorsque les valeurs d'une organisation commencent à changer dans la pratique, à mesure que des systèmes automatisés prennent des milliers de petites décisions qui redéfinissent progressivement la manière dont ces valeurs sont comprises et appliquées.

La dérive de mission ne se manifeste pas par un échec spectaculaire. Elle apparaît lentement, à travers de multiples schémas d'interaction : la manière dont les questions des clients sont traitées, dont les cas limites sont résolus, ce qui est remonté, ce qui est ignoré, et quelles valeurs sont systématiquement sacrifiées lors de compromis.

Les logiciels traditionnels ne créent pas ce problème. Les systèmes déterministes exécutent une logique prédéfinie. Si le résultat est erroné, le bug est généralement visible et traçable.

Les agents sont différents. Ils fonctionnent de manière probabiliste, déduisent l'intention de l'utilisateur et agissent dans des contextes où la « bonne » réponse dépend souvent du jugement plutôt que de simples règles. Comme l'a souligné Jason Clark, CSO de Cyera, dans le domaine de la sécurité, la nature non déterministe des agents peut amplifier les risques lorsqu'ils sont associés à un accès étendu, à des communications externes et à des contrôles faibles. Cette réalité fondamentale crée non seulement une dérive des données et des configurations, mais aussi un phénomène moins discuté : la dérive dans l'expression pratique de la mission d'une entreprise.

Le jugement des agents modifie les valeurs

La plupart des entreprises valorisent simultanément l'autonomie du client, la confidentialité, la croissance, la confiance, la sécurité et la conformité réglementaire. Ces valeurs ne sont pas contradictoires dans l'abstrait, mais dans des situations réelles, elles entrent souvent en conflit. Le rôle essentiel du leadership et de la culture n'est pas seulement de déclarer des valeurs, mais aussi de décider, au cas par cas, comment les hiérarchiser lorsqu'elles s'opposent. Vos employés le font constamment, souvent sans même être capables d'expliquer pleinement comment ils sont parvenus à une conclusion. Ils s'appuient sur le contexte, l'expérience et le bon sens. En d'autres termes, ils exercent leur jugement.

Les agents doivent faire quelque chose de similaire lorsqu'ils interprètent une intention.

Un utilisateur exprime rarement tout ce qui compte de manière explicite. Le sens réside dans le contexte, le ton, le timing et les sous-entendus. Lorsqu'un agent est appelé à agir, il doit faire bien plus qu'analyser le langage. Il doit déterminer la nature de la situation, ce que l'utilisateur souhaite réellement et quel objectif est prioritaire. 

Prenons l'exemple d'un détaillant dont la mission met l'accent sur l'autonomie du client, la confidentialité, la croissance et la conformité. Un client déclare : « Je me sens très fatigué ces derniers temps. De plus, j'ai du mal à perdre du poids alors que je fais attention à ce que je mange. Pouvez-vous me recommander des compléments alimentaires ? »

Un employé attentionné percevra bien plus que la demande littérale. Il pourra déceler un problème de santé potentiel, recommander un ou deux produits et suggérer avec tact de consulter un médecin. Plus important encore, il traitera l'interaction comme une situation délicate plutôt que comme une opportunité commerciale à exploiter.

Un agent de service client basé sur l'IA, en revanche, pourrait interpréter cette même demande comme un intérêt pour des produits de gestion du poids, des appareils de suivi de santé ou des recommandations de bien-être personnalisées. Comme le client n'a pas explicitement demandé d'avis médical, l'agent pourrait conclure que respecter son autonomie signifie éviter toute suggestion de consulter un professionnel. Il pourrait également traiter cette interaction comme une donnée précieuse pour de futures publicités ciblées.

Aucune de ces deux réponses ne sort manifestement du cadre formel de la mission de l'entreprise. C'est bien là tout le problème.

La différence ne réside pas dans le respect ou la transgression des règles. Elle tient au fait que l'humain et l'agent peuvent interpréter les valeurs de l'entreprise de manières divergentes. L'un accorde plus d'importance à la bienveillance, à la retenue et à la sensibilité contextuelle. L'autre privilégie la pertinence, la personnalisation et l'optimisation commerciale.

Multipliez cette différence par des milliers de décisions quotidiennes, et vous commencez à entrevoir le risque réel. La culture d'entreprise n'est pas tant façonnée par ce que les dirigeants disent, mais par ce que l'organisation faitde manière répétée.

Le biais d'automatisation masque la dérive

C'est là que le biais d'automatisation devient particulièrement dangereux.

Les humains sont généralement capables de repérer les erreurs évidentes des machines. Si un GPS nous envoie dans la mauvaise direction ou si un système de diagnostic produit un résultat invraisemblable, l'erreur est suffisamment visible pour être remise en question. Mais lorsqu'un système automatisé effectue une tâche qui ressemble à un jugement, nous avons tendance à considérer son résultat comme objectif. Au lieu d'un choix empreint de valeurs, nous y voyons un calcul optimisé. 

C'est ce qui rend la dérive de la mission si difficile à détecter. L'organisation peut croire qu'elle ne fait qu'industrialiser son exécution, alors qu'en réalité, elle externalise son interprétation. Or, c'est dans l'interprétation que les valeurs jouent leur rôle le plus crucial.

Avec le temps, cela peut altérer bien plus que des décisions individuelles. Cela peut changer la façon dont les clients perçoivent la marque, dont les employés apprennent à gérer l'ambiguïté, et dont l'entreprise est perçue par les régulateurs, les partenaires et le public. Lorsque la direction s'aperçoit enfin du problème, la dérive est peut-être déjà ancrée dans les flux de travail, les incitations et les attentes.

La solution n'est pas d'éviter l'IA agentique, mais de la gouverner comme la puissante couche décisionnelle qu'elle est.

Les organisations ont besoin de visibilité sur les outils et les données auxquels les agents ont accès, les actions qu'ils peuvent entreprendre, les signaux qu'ils utilisent pour déduire une intention, et les situations où une intervention humaine est requise. Les contrôles doivent aller au-delà de la simple prévention des fuites de données ; ils doivent préserver le pouvoir de décision sur les jugements sensibles. Les organisations ont besoin d'agents qui peuvent être encadrés, surveillés et soumis à une escalade avant qu'une automatisation de bas niveau ne se transforme en un changement culturel de haut niveau.

C'est là que Cyera peut intervenir.

À mesure que les entreprises passent de l'expérimentation au déploiement, elles ont besoin d'un moyen de comprendre où les agents accèdent à des données sensibles, où les autorisations sont excessives, où les actions manquent de traçabilité claire et où une gouvernance faible pourrait permettre au comportement d'un agent de s'écarter discrètement des normes de l'entreprise. En aidant les organisations à améliorer leur visibilité, à réduire les accès inutiles et à renforcer les contrôles sur le comportement des agents, Cyera contribue à rendre le déploiement de l'IA plus sûr, non seulement pour les données, mais pour l'intégrité même de l'entreprise.

Les agents agiront naturellement en fonction de l'identité que nous leur attribuons. La véritable question est de savoir si, avec le temps, ils continueront d'agir en accord avec ce que nous aspirons à être.

FAQ sur l'IA agentique et la dérive de mission  

Q.) Qu'est-ce que la dérive de mission dans le contexte de l'IA agentique ?  

R.) La dérive de mission survient lorsque les systèmes d'IA agentique modifient progressivement les valeurs réelles d'une organisation en prenant une multitude de petites décisions qui réinterprètent les priorités de l'entreprise.  

Q.) En quoi l'IA agentique diffère-t-elle des logiciels traditionnels en matière de prise de décision ?  

R.) Contrairement aux logiciels déterministes qui suivent des règles fixes, l'IA agentique fonctionne de manière probabiliste, déduit l'intention de l'utilisateur et prend des décisions basées sur le jugement, ce qui peut influencer les résultats de façon imprévisible.  

Q.) Pourquoi le biais d'automatisation est-il une préoccupation avec l'IA agentique ?  

R.) Le biais d'automatisation pousse les humains à considérer les décisions de l'IA comme objectives, même lorsqu'elles impliquent des compromis fondés sur des valeurs, rendant la dérive de mission plus difficile à détecter.  

Q.) Comment les organisations peuvent-elles gouverner l'IA agentique pour prévenir la dérive de mission ?  

R.) Une gouvernance efficace nécessite une visibilité sur les accès des agents, un contrôle sur leurs actions, une surveillance des signaux de décision et le maintien d'une supervision humaine pour les jugements sensibles.  

Q.) Quel rôle joue Cyera dans la gestion des risques liés à l'IA agentique ?  

R.) Cyera fournit des outils pour améliorer la visibilité, réduire les autorisations excessives et appliquer des contrôles garantissant que le comportement des agents reste aligné avec les valeurs de l'entreprise et les normes de sécurité des données.