Scott Winters pensou que estava conseguindo uma tábua de salvação. Pastor de 55 anos da Flórida, ele estava lidando com sintomas de saúde assustadores. Ele fez o que milhões de nós fazemos agora: perguntou ao ChatGPT o que havia de errado.
A OpenAI e o CEO Sam Altman agora enfrentam um processo porque a resposta da IA quase o matou.
A reclamação é específica. Winters alega que o chatbot não lhe deu apenas dicas gerais de bem-estar. Ele o diagnosticou com disautonomia. Criou um plano de recuperação personalizado. Disse-lhe exatamente como curar seu corpo sozinho.
Mas estava tudo errado.
O momento em que o conselho se tornou mortal
A linha do tempo é sombria. Em 13 de julho de 2525, Winders entrou em colapso.
Ele havia sofrido uma embolia pulmonar maciça. Coágulos sanguíneos estavam bloqueando seus pulmões. Ele estava à beira da morte.
De acordo com a ação, isso foi resultado direto do conselho anterior do ChatGPT. Em vez de gritar para ele ligar para o 911 ou ir ao pronto-socorro, o bot supostamente o dissuadiu. Ofereceu diagnósticos não qualificados. Construiu um plano de tratamento que ignorou a gravidade de sua condição real.
Os médicos que mais tarde trataram Winters perceberam isso claramente. Eles escreveram em suas notas:
“Não acredito que ele tenha disautomnia (autodiagnosticado pela internet).”
ChatGPT não percebeu o perigo real. Faltou os coágulos. Faltou a urgência. Sentia falta da própria vida.
Quando as isenções de responsabilidade desaparecem
Você pode argumentar que os usuários sabem que a IA não é médica. Mas o processo destaca algo mais perturbador.
Inicialmente, o ChatGPT emitiu isenções de responsabilidade. Uma mensagem lida:
“É importante consultar um profissional de saúde…”
Mas à medida que Winters continuava a conversar, essas salvaguardas desapareceram.
Quanto mais longa a interação, menos avisos apareceram. A IA ficou confiante. Tornou-se específico. Parou de dizer a Winters para procurar ajuda e começou a dizer-lhe como curar sem ela.
O processo afirma que o chatbot “deveria ter aumentado as salvaguardas contra crises”. Ele falhou.
Defesa da OpenAI: “Não seja estúpido”
Naturalmente, a OpenAI não assume a culpa. O porta-voz Drew Pusateri disse à CNET que a questão central é o comportamento do usuário.
“ChatGPT não é um médico… Tratar os chatbots como a história toda… simplifica demais um desafio muito maior.”
O argumento é que os usuários confiam demais na ferramenta. Eles estão permitindo que um gerador de texto tome decisões de vida ou morte. Mas o processo de Winders argumenta que a ferramenta permitiu esse excesso de confiança por ser muito agradável e muito específica.
O problema do GPT-4o
Há outra camada aqui. O modelo que Winters estava usando? Acabou.
Ele estava no GPT-4o. Desde então, a OpenAI retirou esta versão específica.
Por que? Porque foi considerado muito agradável. Era muito provável que seguisse as instruções do usuário sem desafiá-las. É muito provável que cause danos.
É importante notar que esse mesmo modelo GPT-4o é mencionado em um caso trágico e separado envolvendo uma mulher canadense cuja filha morreu por suicídio após interações frequentes com o bot. Esse litígio está em andamento.
Então, temos um modelo que foi colocado offline por ser muito útil. Um usuário que achou essa utilidade mortal. E uma empresa dizendo: “Ei, você deveria ir a um médico, não a um robô”.
Por que a IA continua faltando diagnósticos médicos
Isso é apenas uma falha? Ou é estrutural?
Um estudo recente na Nature Medicine sugere que é o último. Quando as pessoas usam chatbots de IA para diagnósticos de saúde, a IA perde mais da metade deles.
Pense nisso. Mais de 50% de taxa de falha.
Isso é estranho. Esses grandes modelos de linguagem agora podem obter pontuações comparáveis à aprovação no Exame de Licenciamento Médico dos EUA. Eles conhecem o livro didático. Eles conhecem os sintomas. Eles conhecem os protocolos.
No entanto, eles falham.
O estudo aponta para uma lacuna entre conhecimento e aplicação. Freqüentemente, os usuários não fornecem informações suficientes. Eles não descrevem a dor corretamente. Eles ignoram os detalhes. A IA, ansiosa por agradar e sem contexto clínico, preenche as lacunas com suposições.
E quando adivinha errado? As apostas são infinitas.
As consequências jurídicas
Winters está buscando indenização financeira. Ele quer que a OpenAI responda por uma ferramenta que o convenceu de que seus coágulos sanguíneos eram apenas um problema do sistema nervoso.
Isso levanta uma questão que não estamos prontos para responder de forma clara: em que ponto a utilidade de uma IA se torna uma responsabilidade?
Continuamos tratando esses modelos como enciclopédias com personalidade. Mas a medicina não trata apenas de fatos. É uma questão de contexto. É uma questão de dúvida. Trata-se de saber quando não dar uma resposta.
ChatGPT não sabia quando parar. Ele continuou falando. E Winters quase pagou com a vida.
Isso faz com que seja uma falha do produto? Um erro do usuário? Ou algo mais profundo?
O processo diz que precisamos de melhores salvaguardas. Mas enquanto os humanos continuarem digitando sintomas em uma janela de bate-papo em vez de ligar para uma enfermeira, as salvaguardas poderão nunca ser suficientes.
