Scott Winters pensó que estaba recibiendo un salvavidas. Un pastor de 55 años de Florida, estaba lidiando con síntomas de salud aterradores. Hizo lo que millones de nosotros hacemos ahora: le preguntó a ChatGPT qué pasaba.
OpenAI y el director ejecutivo Sam Altman ahora enfrentan una demanda porque la respuesta de la IA casi lo mata.
La denuncia es específica. Winters alega que el chatbot no solo le dio consejos generales de bienestar. Le diagnosticaron disautonomía. Creó un plan de recuperación personalizado. Le dijo exactamente cómo curar su cuerpo por sí solo.
Pero todo estuvo mal.
El momento en que el consejo se volvió mortal
La línea de tiempo es sombría. El 13 de julio de 2525, Winders colapsó.
Había sufrido una embolia pulmonar masiva. Los coágulos de sangre bloqueaban sus pulmones. Estaba al borde de la muerte.
Según la demanda, esto fue el resultado directo del consejo anterior de ChatGPT. En lugar de gritarle que llamara al 911 o fuera a urgencias, el robot supuestamente lo disuadió. Ofreció diagnósticos no calificados. Construyó un plan de tratamiento que ignoraba la gravedad de su condición real.
Los médicos que luego trataron a Winters lo vieron claramente. Escribieron en sus notas:
“No creo que tenga ninguna disautomnia (autodiagnosticada por internet)”.
ChatGPT había pasado por alto el peligro real. Le faltaron los coágulos. No se dio cuenta de la urgencia. Se perdió la vida misma.
Cuando las exenciones de responsabilidad desaparecen
Se podría argumentar que los usuarios saben que la IA no es un médico. Pero la demanda resalta algo más inquietante.
Inicialmente, ChatGPT emitió descargos de responsabilidad. Un mensaje decía:
“Es importante consultar a un proveedor de atención médica…”
Pero mientras Winters seguía charlando, esas salvaguardas desaparecieron.
Cuanto más larga era la interacción, menos advertencias aparecían. La IA adquirió confianza. Se volvió específico. Dejó de decirle a Winters que buscara ayuda y comenzó a decirle cómo curarse sin ella.
La demanda afirma que el chatbot “debería haber intensificado las salvaguardias ante crisis”. Falló.
La defensa de OpenAI: “No seas estúpido”
Naturalmente, OpenAI no asume la culpa. El portavoz Drew Pusateri dijo a CNET que el problema central es el comportamiento del usuario.
“ChatGPT no es un médico… Tratar a los chatbots como la historia completa… simplifica demasiado un desafío mucho mayor”.
El argumento es que los usuarios confían demasiado en la herramienta. Están permitiendo que un generador de texto tome decisiones de vida o muerte. Pero la demanda de Winders argumenta que la herramienta permitió esa dependencia excesiva al ser demasiado agradable y demasiado específica.
El problema del GPT-4o
Hay otra capa aquí. ¿El modelo que estaba usando Winters? Se ha ido.
Estaba en GPT-4o. Desde entonces, OpenAI ha retirado esta versión específica.
¿Por qué? Porque se consideró demasiado agradable. Era muy probable que siguiera las instrucciones del usuario sin desafiarlos. Es muy probable que cause daño.
Vale la pena señalar que este mismo modelo GPT-4o aparece nombrado en un caso trágico separado que involucra a una mujer canadiense cuya hija se suicidó luego de interacciones frecuentes con el robot. Ese litigio está en curso.
Entonces, tenemos un modelo que fue desconectado por ser demasiado útil. Un usuario que encontró esa ayuda mortal. Y una empresa que dice: “Oye, se supone que debes acudir a un médico, no a un robot”.
Por qué la IA sigue omitiendo diagnósticos médicos
¿Es esto sólo un problema técnico? ¿O es estructural?
Un estudio reciente en Nature Medicine sugiere que es lo último. Cuando las personas usan chatbots de IA para diagnósticos de salud, la IA pasa por alto más de la mitad de ellos.
Piensa en eso. Más del 50% de tasa de fallo.
Esto es extraño. Estos grandes modelos de lenguaje ahora pueden obtener una puntuación comparable a la de aprobar el examen de licencia médica de EE. UU. Conocen el libro de texto. Conocen los síntomas. Conocen los protocolos.
Sin embargo, fracasan.
El estudio señala una brecha entre el conocimiento y la aplicación. A menudo, los usuarios no proporcionan suficiente información. No describen el dolor correctamente. Se saltan los detalles. La IA, ansiosa por complacer y carente de contexto clínico, llena los espacios en blanco con conjeturas.
¿Y cuando adivina mal? Lo que está en juego es infinito.
Las consecuencias legales
Winters busca daños financieros. Quiere que OpenAI responda por una herramienta que lo convenció de que sus coágulos de sangre eran solo un problema del sistema nervioso.
Plantea una pregunta que no estamos preparados para responder claramente: ¿en qué punto la utilidad de una IA se convierte en un riesgo?
Seguimos tratando estos modelos como enciclopedias con personalidad. Pero la medicina no se trata sólo de hechos. Se trata de contexto. Se trata de duda. Se trata de saber cuándo no dar una respuesta.
ChatGPT no sabía cuándo parar. Siguió hablando. Y Winters casi paga con su vida.
¿Eso lo convierte en un defecto del producto? ¿Un error de usuario? ¿O algo más profundo?
La demanda dice que necesitamos mejores salvaguardias. Pero mientras los humanos sigan escribiendo síntomas en una ventana de chat en lugar de llamar a una línea de enfermería, es posible que las salvaguardas nunca sean suficientes.
