Scott Winters pensava di avere un’ancora di salvezza. Un pastore di 55 anni della Florida, aveva a che fare con sintomi di salute spaventosi. Ha fatto quello che fanno milioni di noi adesso: ha chiesto a ChatGPT cosa c’era che non andava.
OpenAI e il CEO Sam Altman stanno ora affrontando una causa perché la risposta dell’IA lo ha quasi ucciso.
La denuncia è specifica. Winters sostiene che il chatbot non gli ha dato solo consigli generali sul benessere. Gli ha diagnosticato la disautonomia. Ha creato un piano di recupero personalizzato. Gli diceva esattamente come guarire il suo corpo da solo.
Ma era tutto sbagliato.
Il momento in cui il consiglio si è rivelato mortale
La cronologia è cupa. Il 13 luglio 2525 Winders crollò.
Aveva subito una massiccia embolia polmonare. I coaguli di sangue gli stavano bloccando i polmoni. Era sull’orlo della morte.
Secondo la causa, questo era il risultato diretto del precedente consiglio di ChatGPT. Invece di urlargli di chiamare i servizi di emergenza o di andare al pronto soccorso, il bot lo avrebbe dissuaso. Ha offerto diagnosi non qualificate. Ha costruito un piano di trattamento che ignorava la gravità della sua condizione reale.
I medici che in seguito curarono Winters lo videro chiaramente. Hanno scritto nei loro appunti:
“Non credo che abbia disautomnia (autodiagnosticata da Internet).”
ChatGPT non aveva colto il vero pericolo. Ha mancato i coaguli. Non ha colto l’urgenza. Gli mancava la vita stessa.
Quando le dichiarazioni di non responsabilità scompaiono
Potresti sostenere che gli utenti sanno che l’intelligenza artificiale non è un medico. Ma la tuta evidenzia qualcosa di più inquietante.
Inizialmente, ChatGPT ha rilasciato dichiarazioni di non responsabilità. Un messaggio diceva:
“È importante consultare un operatore sanitario…”
Ma mentre Winters continuava a chiacchierare, quelle garanzie svanirono.
Più lunga è l’interazione, meno avvisi verranno visualizzati. L’IA divenne fiduciosa. È diventato specifico. Ha smesso di dire a Winters di cercare aiuto e ha iniziato a dirgli come guarire senza di esso.
La causa sostiene che il chatbot “avrebbe dovuto intensificare le misure di salvaguardia in caso di crisi”. Ha fallito.
La difesa di OpenAI: “Non essere stupido”
Naturalmente, OpenAI non si prende la colpa. Il portavoce Drew Pusateri ha detto a CNET che il problema principale è il comportamento degli utenti.
“ChatGPT non è un medico… Trattare i chatbot come l’intera storia… semplifica eccessivamente una sfida molto più grande.”
L’argomento è che gli utenti fanno eccessivo affidamento sullo strumento. Stanno lasciando che un generatore di testo prenda decisioni di vita o di morte. Ma la causa di Winders sostiene che lo strumento ha consentito un’eccessiva dipendenza essendo troppo gradevole e troppo specifico.
Il problema GPT-4o
C’è un altro livello qui. Il modello che Winters stava usando? Non c’è più.
Era su GPT-4o. Da allora OpenAI ha ritirato questa versione specifica.
Perché? Perché era ritenuto troppo gradevole. Era troppo probabile che seguissero le istruzioni dell’utente senza metterle in discussione. Troppo probabile che possa causare danni.
Vale la pena notare che questo stesso modello GPT-4o è nominato in un tragico caso separato che coinvolge una donna canadese la cui figlia è morta suicida in seguito a frequenti interazioni con il bot. Il contenzioso è in corso.
Quindi, abbiamo un modello che è stato messo offline perché troppo utile. Un utente che ha trovato quella disponibilità mortale. E un’azienda che dice: “Ehi, dovresti andare da un dottore, non da un robot”.
Perché l’intelligenza artificiale continua a non fornire diagnosi mediche
È solo un problema tecnico? Oppure è strutturale?
Un recente studio su Nature Medicine suggerisce che sia quest’ultimo. Quando le persone utilizzano i chatbot IA per le diagnosi sanitarie, l’intelligenza artificiale ne trascura più della metà.
Pensaci. Percentuale di errori superiore al 50%.
Questo è strano. Questi grandi modelli linguistici possono ora ottenere punteggi paragonabili al superamento dell’esame di licenza medica statunitense. Conoscono il libro di testo. Conoscono i sintomi. Conoscono i protocolli.
Eppure falliscono.
Lo studio evidenzia un divario tra conoscenza e applicazione. Spesso gli utenti non forniscono informazioni sufficienti. Non descrivono correttamente il dolore. Saltano i dettagli. L’intelligenza artificiale, desiderosa di compiacere e priva di contesto clinico, riempie gli spazi vuoti con ipotesi.
E quando sbaglia? La posta in gioco è infinita.
Le conseguenze legali
Winters chiede un risarcimento finanziario. Vuole che OpenAI risponda per uno strumento che lo ha convinto che i suoi coaguli di sangue erano solo un problema del sistema nervoso.
Ciò solleva una domanda a cui non siamo pronti a rispondere in modo chiaro: a che punto l’utilità di un’intelligenza artificiale diventa una responsabilità?
Continuiamo a trattare questi modelli come enciclopedie dotate di personalità. Ma la medicina non riguarda solo i fatti. Riguarda il contesto. Si tratta di dubbio. Si tratta di sapere quando non dare una risposta.
ChatGPT non sapeva quando fermarsi. Continuava a parlare. E Winters ha quasi pagato con la vita.
Questo lo rende un difetto del prodotto? Un errore dell’utente? O qualcosa di più profondo?
La causa dice che abbiamo bisogno di migliori garanzie. Ma finché gli esseri umani continuano a digitare i sintomi in una finestra di chat invece di chiamare un’infermiera, le misure di sicurezza potrebbero non essere mai sufficienti.
