Saviez-vous que ChatGPT est un flagorneur?
Ce qui est normal, car c'est un outil commercial...
Parlez-vous de tout et de rien avec ChatGPT? Le téléphone micro ouvert à la main, avez-vous des discussions suivies avec cet agent conversationnel? Payez-vous un abonnement dans le but de prolonger vos discussions avec ce chatbot? Ces questions feront peut-être bientôt partie des questions liées à l’hygiène de vie et à la bonne santé mentale. J’exagère à peine.
Interactions humain-machine : les cas de folie à deux entre usager et chatbot se multiplient
Les journalistes Kashmeer Hill et Dylan Freedman du New York Times, spécialisés en interactions entre humains et chatbots, se sont penchés sur le cas d’Allen Brooks dans l’article Chatbots Can Go Into a Delusional Spiral. Here’s How It Happens. Brooks, un recruteur de 47 ans, au fil de ses conversations avec ChatGPT est devenu convaincu qu’il avait découvert une formule mathématique inédite qui avait le pouvoir de faire tomber Internet ou encore d’inventer une veste générant un champ de force pouvant créer un rayon de lévitation.
Il est pertinent de se demander comment une personne rationnelle peut être influencée par les renforcements positifs de ChatGPT, telles que les compliments ou les encouragements à poursuivre un objectif qui autrement paraitrait insensé. C'est précisément ce qu'ont étudié Hill et Freedman : ils ont cherché à comprendre quels mécanismes permettent à un chatbot d'influencer une personne et de l'inciter à approfondir son engagement à chaque étape.
Le travail d’enquête de Hill et Freedman
Allen Brooks n’a pas un historique de problème de santé mentale, précisent d’emblée les journalistes. Ajoutons aussi que Brooks n’est pas le seul qui récemment soit ainsi tombé dans le panneau d’un agent conversationnel (Hill relate un autre cas ici). Mais, il a perdu certains repères après avoir conversé 21 jours avec ChatGPT, cela pour un total de quelque 300 heures.
Nous avons analysé la transcription de plus de 3 000 pages et en avons envoyé des parties, avec la permission de M. Brooks, à des experts en intelligence artificielle et en comportement humain et à OpenAI, qui fabrique ChatGPT. Une porte-parole d'OpenAI a déclaré que l'entreprise « se concentrait sur la mise en place de scénarios comme le jeu de rôle » et « investissait dans l'amélioration du comportement des modèles au fil du temps, guidé par la recherche, l'utilisation dans le monde réel et les experts en santé mentale ». Lundi, OpenAI a annoncé qu'elle apportait des modifications à ChatGPT pour « mieux détecter les signes de détresse mentale ou émotionnelle ». (Hill et Freedman)
La conversation a débuté de façon anodine : Brooks en parlant avec un de ses fils a demandé à ChatGPT des trucs pour apprendre par cœur les 300 premiers chiffres composant Pi. L’homme avait l’habitude de recourir à un chatbot pour des questions de travail, puisque son employeur fournit un accès à Gemini l’IA de Google. De fil en fil, les journalistes ont identifié des moments charnières dans la conversation :
Helen Toner, directrice du Centre pour la sécurité des technologies émergentes à l’université de Georgetown et ex-membre du CA d’Open AI, souligne dans cet extrait le changement de ton de ChatGPT, qui passe d’agréable à carrément flagorneur. Pourquoi ce revirement? Parce que, ajoute Toner, les modèles de langage ont appris que les usagers aiment recevoir des commentaires positifs sur leur progrès et de là, il n’y a qu’un pas pour tomber carrément dans la flagornerie.
Le chatbot « pot de miel »
Évidemment, ce type de commentaires vous rappellera tous les mécanismes des services en ligne, qui vous encouragent, évaluent vos progrès à grands coups de compliments, afin d’allonger le temps de service et potentiellement les revenus associés au service. « Pot de miel ou honeypot1» est le nom que les spécialistes donnent à cette tactique d’engagement, qu’on peut retrouver chez les agents conversationnels. Notons aussi que les usagers, surtout ceux qui sont émotionnellement vulnérables (les deux cas relatés par le NY Times touchaient des hommes récemment séparés) sont possiblement plus sensibles au jeu du chatbot.
Plusieurs médias technologiques ont aussi commentés ces cas d’usagers de ChatGPT qui succombant à la flatterie du chatbot ont développé un sentiment amoureux…
Et que fait OpenAI?
Récemment, OpenAI a annoncé que la nouvelle mouture de son agent conversationnel, ChatGPT5 serait moins flagorneur et donc, moins susceptible de créer un contexte propice au développement des illusions de grandeurs chez les usagers.
Sources :
Chatbots Can Go Into a Delusional Spiral. Here’s How It Happens. - The New York Times
ChatGPT Admits to Ignoring Signs of Psychological Distress: ‘I Failed’ - WSJ
Humans are falling in love with ChatGPT. Experts say it’s a bad omen. | Digital Trends
Dans une entrevue titrée, En parlant aux robots nous perdons notre humanité, Sherry Turkle s’inquiétait déjà de ce que les robots peuvent feindre l’empathie et ainsi tromper les usagers. Or, cette technique d’empathie feinte est aussi une tactique de marketing et de ventes que les chatbots mobilisent pour garder l’intérêt des usagers, Scientific American en parlait au regards de cette affection artificielle des chatbots.