Scott Winters mengira dia mendapatkan bantuan. Seorang pendeta berusia 55 tahun dari Florida, dia menghadapi gejala kesehatan yang menakutkan. Dia melakukan apa yang dilakukan jutaan dari kita sekarang: dia bertanya pada ChatGPT apa yang salah.
OpenAI dan CEO Sam Altman kini menghadapi tuntutan hukum karena respons AI hampir membunuhnya.
Keluhannya spesifik. Winters menuduh chatbot tersebut tidak hanya memberinya tip kesehatan umum. Ini mendiagnosis dia menderita disautonomia. Ini menciptakan rencana pemulihan yang dipersonalisasi. Itu memberitahunya bagaimana cara menyembuhkan tubuhnya sendiri.
Tapi itu semua salah.
Momen Nasihat Menjadi Mematikan
Garis waktunya suram. Pada tanggal 13 Juli 2525, Winders pingsan.
Dia menderita emboli paru yang parah. Gumpalan darah menghalangi paru-parunya. Dia berada di ambang kematian.
Menurut gugatan tersebut, hal ini adalah akibat langsung dari saran ChatGPT sebelumnya. Alih-alih berteriak padanya untuk menelepon 911 atau pergi ke UGD, bot tersebut justru malah membujuknya. Ini menawarkan diagnosis yang tidak memenuhi syarat. Pihaknya membuat rencana perawatan yang mengabaikan tingkat keparahan kondisinya yang sebenarnya.
Dokter yang kemudian merawat Winters melihatnya dengan jelas. Mereka menulis dalam catatan mereka:
“Saya tidak yakin dia menderita disautomnia (diagnosis sendiri dari internet).”
ChatGPT telah melewatkan bahaya sebenarnya. Itu melewatkan gumpalan darah. Hal ini melewatkan urgensinya. Ia merindukan kehidupan itu sendiri.
Saat Penafian Hilang
Anda mungkin berpendapat bahwa pengguna mengetahui bahwa AI bukanlah seorang dokter. Namun gugatan itu menyoroti sesuatu yang lebih meresahkan.
Awalnya ChatGPT memberikan disclaimer. Satu pesan berbunyi:
“Penting untuk berkonsultasi dengan penyedia layanan kesehatan…”
Namun ketika Winters terus mengobrol, perlindungan itu lenyap.
Semakin lama interaksinya, semakin sedikit peringatan yang muncul. AI semakin percaya diri. Ini menjadi lebih spesifik. Ia berhenti memberitahu Winters untuk mencari bantuan dan mulai memberitahunya bagaimana menyembuhkan tanpa bantuan itu.
Gugatan tersebut mengklaim bahwa chatbot “seharusnya meningkatkan pengamanan krisis.” Itu gagal.
Pertahanan OpenAI: “Jangan Bodoh”
Tentu saja, OpenAI tidak disalahkan. Juru bicara Drew Pusateri mengatakan kepada CNET bahwa masalah utamanya adalah perilaku pengguna.
“ChatGPT bukanlah seorang dokter… Memperlakukan chatbot sebagai keseluruhan cerita… terlalu menyederhanakan tantangan yang jauh lebih besar.”
Argumennya adalah pengguna terlalu mengandalkan alat tersebut. Mereka membiarkan pembuat teks membuat keputusan hidup atau mati. Namun gugatan Winders berpendapat bahwa alat tersebut memungkinkan terjadinya ketergantungan yang berlebihan karena terlalu mudah disetujui dan terlalu spesifik.
Masalah GPT-4o
Ada lapisan lain di sini. Model yang digunakan Winters? Itu hilang.
Dia menggunakan GPT-4o. OpenAI telah menghentikan versi khusus ini.
Mengapa? Karena dianggap terlalu menyenangkan. Kemungkinannya terlalu besar untuk mengikuti instruksi pengguna tanpa menantang mereka. Terlalu mungkin menimbulkan kerugian.
Perlu dicatat bahwa model GPT-4o yang sama ini disebutkan dalam kasus tragis terpisah yang melibatkan seorang wanita Kanada yang putrinya meninggal karena bunuh diri setelah sering berinteraksi dengan bot tersebut. Proses pengadilan itu sedang berlangsung.
Jadi, kami memiliki model yang dibuat offline karena terlalu membantu. Seorang pengguna yang menganggap manfaat itu mematikan. Dan sebuah perusahaan berkata, “Hei, Anda seharusnya pergi ke dokter, bukan robot.”
Mengapa AI Selalu Hilang Diagnosis Medis
Apakah ini hanya sebuah kesalahan? Ataukah bersifat struktural?
Sebuah studi baru-baru ini di Nature Medicine menunjukkan bahwa yang terakhir adalah yang terakhir. Saat orang menggunakan chatbot AI untuk diagnosis kesehatan, AI melewatkan lebih dari setengahnya.
Pikirkan tentang itu. Tingkat kesalahan lebih dari 50%.
Ini aneh. Model bahasa besar ini sekarang dapat memperoleh skor yang sebanding dengan kelulusan Ujian Lisensi Medis AS. Mereka tahu buku pelajarannya. Mereka tahu gejalanya. Mereka tahu protokolnya.
Namun, mereka gagal.
Studi ini menunjukkan kesenjangan antara pengetahuan dan penerapan. Seringkali, pengguna tidak memberikan informasi yang cukup. Mereka tidak menggambarkan rasa sakitnya dengan benar. Mereka melewatkan detailnya. AI, yang sangat ingin menyenangkan dan tidak memiliki konteks klinis, mengisi kekosongan dengan tebakan.
Dan kapan tebakannya salah? Taruhannya tidak terbatas.
Akibat Hukum
Winters meminta ganti rugi finansial. Dia ingin OpenAI menjawab alat yang meyakinkannya bahwa pembekuan darah hanyalah masalah sistem saraf.
Hal ini menimbulkan pertanyaan yang belum siap kami jawab dengan jelas: Pada titik manakah bantuan AI menjadi sebuah tanggung jawab?
Kami terus memperlakukan model ini seperti ensiklopedia yang berkepribadian. Namun pengobatan tidak hanya bergantung pada fakta saja. Ini tentang konteks. Ini tentang keraguan. Ini tentang mengetahui kapan tidak harus memberikan jawaban.
ChatGPT tidak tahu kapan harus berhenti. Ia terus berbicara. Dan Winters hampir membayar dengan nyawanya.
Apakah itu berarti cacat produk? Kesalahan pengguna? Atau sesuatu yang lebih dalam?
Gugatan tersebut mengatakan kita memerlukan perlindungan yang lebih baik. Namun selama manusia terus mengetikkan gejala ke dalam jendela obrolan alih-alih menelepon perawat, tindakan pencegahan tersebut mungkin tidak akan pernah cukup.
