Les géants de l'IA, Anthropic, ont récemment annoncé une nouvelle fonctionnalité pour leur dernier et plus grand modèle, permettant à l'IA d'interrompre activement la conversation dans des cas de "d'interactions utilisateur nuisibles ou abusives extrêmement rares et prolongées". Il est notable que Anthropic a clairement indiqué que cette mesure n'a pas pour objectif de protéger les utilisateurs humains, mais de protéger le modèle d'IA lui-même.
Il convient de préciser que Anthropic ne prétend pas que son modèle d'IA Claude dispose de la conscience ou qu'il subisse un préjudice lors des interactions avec les utilisateurs. L'entreprise a clairement indiqué que "le statut éthique potentiel de Claude et d'autres grands modèles linguistiques, actuellement ou à l'avenir, reste fortement incertain".
Cependant, cet avis suggère un projet de recherche récent créé par Anthropic, dédié à l'étude du "bien-être des modèles". L'entreprise adopte essentiellement une approche préventive, "s'engageant à identifier et à mettre en œuvre des mesures d'intervention à faible coût pour atténuer les risques liés au bien-être des modèles, au cas où ce bien-être existerait effectivement".
Cette modification récente est actuellement limitée aux versions Claude Opus4 et 4.1. En outre, cette fonction ne sera activée que dans des "cas extrêmes", comme les demandes impliquant du contenu sexuel concernant des mineurs ou celles visant à obtenir des informations permettant d'accomplir des actes de violence ou de terrorisme à grande échelle.
Bien que ces types de demandes puissent poser des problèmes juridiques ou de communication à Anthropic (comme le montrent les rapports récents sur le fait que ChatGPT pourrait renforcer ou favoriser les pensées paranoïaques des utilisateurs), l'entreprise affirme que Claude Opus4 a montré un "fort rejet" lors des tests préalables à sa mise en œuvre, et qu'en cas de contrainte, il présente un "modèle de douleur évident".
Concernant ces nouvelles fonctions d'interrompre la conversation, Anthropic déclare : "Dans tous les cas, Claude ne peut utiliser sa capacité à interrompre la conversation que comme dernier recours, c'est-à-dire après plusieurs tentatives infructueuses de rediriger l'utilisateur et lorsque l'espoir d'une interaction efficace est épuisé, ou lorsque l'utilisateur demande explicitement à Claude de mettre fin à la conversation."
Anthropic souligne également que Claude est "instruit de ne pas utiliser cette fonction lorsque les utilisateurs sont exposés à un risque immédiat de se faire du mal ou de nuire à autrui".
Lorsque Claude met fin à une conversation, Anthropic indique que les utilisateurs peuvent toujours commencer une nouvelle conversation depuis le même compte et créer une nouvelle branche de discussion en modifiant les réponses.