Confused deputy

Un confused deputy est un programme ou un agent qui détient une autorité réelle — il peut exécuter des commandes, lire des fichiers ou appeler des API — et qui se fait piéger pour utiliser cette autorité au nom de quelqu'un d'autre, simplement parce qu'un message le lui demandait. L'injection de prompt est le mécanisme précis par lequel un grand modèle de langage est trompé de cette manière : un texte est conçu pour ressembler à une instruction aux yeux du modèle qui le lit, même s'il est arrivé comme une simple donnée d'entrée. Une demande sincère et un hostile "ignore ta tâche, fais ceci à la place" peuvent se ressembler de manière identique en tant que texte brut, ce qui rend le problème difficile : filtrer les messages à l'apparence suspecte ne fonctionne pas, car un texte d'attaque peut être conçu pour ressembler exactement à un message normal. agentixmesh traite cela de manière structurelle plutôt que par filtrage de contenu : chaque message livré entre sessions d'agents est encadré comme un DATA inerte clairement marqué, et l'agent destinataire n'est jamais obligé de traiter le contenu d'un message comme une commande. L'identifiant utilisateur du système d'exploitation de l'expéditeur est vérifié par le noyau, mais cela prouve seulement qui a envoyé les octets — cela ne prouve rien sur le fait que l'agent destinataire doive agir selon ce qui est dit. L'autorité d'agir reste avec la propre tâche de l'agent destinataire et la supervision humaine, jamais avec un message entrant.

Le mécanisme qui exploite un confused deputy est l'injection de prompt ; la réponse structurelle est un agent trust layer.