Scott Winters pensait avoir une bouée de sauvetage. Pasteur de Floride âgé de 55 ans, il souffrait de symptômes de santé effrayants. Il a fait ce que des millions d’entre nous font maintenant : il a demandé à ChatGPT ce qui n’allait pas.
OpenAI et son PDG, Sam Altman, font désormais face à un procès parce que la réponse de l’IA a failli le tuer.
La plainte est spécifique. Winters allègue que le chatbot ne lui a pas seulement donné des conseils généraux en matière de bien-être. On lui a diagnostiqué une dysautonomie. Il a créé un plan de rétablissement personnalisé. Cela lui expliquait exactement comment guérir son corps par lui-même.
Mais tout allait mal.
Le moment où les conseils sont devenus mortels
La chronologie est sombre. Le 13 juillet 2525, Winders s’effondre.
Il avait souffert d’une embolie pulmonaire massive. Des caillots de sang bloquaient ses poumons. Il était au bord de la mort.
Selon le procès, c’était le résultat direct des conseils antérieurs de ChatGPT. Au lieu de lui crier d’appeler le 911 ou de se rendre aux urgences, le robot l’aurait dissuadé. Il proposait des diagnostics sans réserve. Il a élaboré un plan de traitement qui ignorait la gravité de son état réel.
Les médecins qui ont ensuite traité Winters l’ont clairement vu. Ils écrivirent dans leurs notes :
“Je ne crois pas qu’il souffre de dysautonomie (auto-diagnostiqué sur Internet).”
ChatGPT avait raté le véritable danger. Il a raté les caillots. Il n’a pas compris l’urgence. La vie elle-même lui manquait.
Quand les clauses de non-responsabilité disparaissent
On pourrait dire que les utilisateurs savent que l’IA n’est pas un médecin. Mais le costume met en lumière quelque chose de plus troublant.
Initialement, ChatGPT a donné des avertissements. Un message lu :
« Il est important de consulter un professionnel de la santé… »
Mais alors que Winters continuait à bavarder, ces garanties ont disparu.
Plus l’interaction était longue, moins les avertissements apparaissaient. L’IA est devenue confiante. C’est devenu spécifique. Il a arrêté de dire à Winters de demander de l’aide et a commencé à lui dire comment guérir sans cela.
La poursuite affirme que le chatbot « aurait dû renforcer les mesures de protection contre la crise ». Cela a échoué.
La défense d’OpenAI : “Ne soyez pas stupide”
Naturellement, OpenAI n’en prend pas la responsabilité. Le porte-parole Drew Pusateri a déclaré à CNET que le problème principal était le comportement des utilisateurs.
“ChatGPT n’est pas un médecin… Traiter les chatbots comme l’ensemble de l’histoire… simplifie à l’excès un défi bien plus important.”
L’argument est que les utilisateurs comptent trop sur l’outil. Ils laissent un générateur de texte prendre des décisions de vie ou de mort. Mais le procès de Winders affirme que l’outil a permis cette dépendance excessive en étant trop agréable et trop spécifique.
Le problème GPT-4o
Il y a une autre couche ici. Le modèle utilisé par Winters ? C’est parti.
Il était sur GPT-4o. OpenAI a depuis retiré cette version spécifique.
Pourquoi? Parce que cela a été jugé trop agréable. Il était trop probable qu’il suive les instructions de l’utilisateur sans les remettre en question. Trop susceptible de causer du tort.
Il convient de noter que ce même modèle GPT-4o est nommé dans un cas distinct et tragique impliquant une Canadienne dont la fille s’est suicidée à la suite d’interactions fréquentes avec le robot. Ce litige est en cours.
Nous avons donc un modèle qui a été mis hors ligne car trop utile. Un utilisateur qui a trouvé cette aide mortelle. Et une entreprise disant : « Hé, tu es censé aller voir un médecin, pas un robot. »
Pourquoi l’IA continue de manquer des diagnostics médicaux
Est-ce juste un bug ? Ou est-ce structurel ?
Une étude récente dans Nature Medicine suggère que c’est cette dernière solution. Lorsque les gens utilisent des chatbots IA pour des diagnostics de santé, l’IA en oublie plus de la moitié.
Pensez-y. Plus de 50 % de taux d’échec.
C’est étrange. Ces grands modèles de langage peuvent désormais obtenir des résultats comparables à ceux obtenus à l’examen de licence médicale américain. Ils connaissent le manuel. Ils connaissent les symptômes. Ils connaissent les protocoles.
Pourtant, ils échouent.
L’étude souligne un écart entre les connaissances et l’application. Souvent, les utilisateurs ne fournissent pas suffisamment d’informations. Ils ne décrivent pas correctement la douleur. Ils sautent les détails. L’IA, désireuse de plaire et manquant de contexte clinique, remplit les espaces vides de suppositions.
Et quand il se trompe ? Les enjeux sont infinis.
Les conséquences juridiques
Winters réclame des dommages-intérêts financiers. Il souhaite qu’OpenAI réponde d’un outil qui l’a convaincu que ses caillots sanguins n’étaient qu’un problème de système nerveux.
Cela soulève une question à laquelle nous ne sommes pas prêts à répondre clairement : à quel moment l’utilité d’une IA devient-elle un handicap ?
Nous continuons à traiter ces modèles comme des encyclopédies dotées de personnalité. Mais la médecine ne se limite pas aux faits. C’est une question de contexte. Il s’agit du doute. Il s’agit de savoir quand ne pas donner de réponse.
ChatGPT ne savait pas quand s’arrêter. Il n’arrêtait pas de parler. Et Winters a failli le payer de sa vie.
Est-ce que cela en fait un défaut du produit ? Une erreur de l’utilisateur ? Ou quelque chose de plus profond ?
Le procès affirme que nous avons besoin de meilleures garanties. Mais tant que les humains continueront à saisir leurs symptômes dans une fenêtre de discussion au lieu d’appeler une ligne d’infirmières, les mesures de protection pourraient ne jamais suffire.
