Скотт Вінтерс думав, що отримує рятівну допомогу. 55-річний пастор із Флориди зіткнувся із лякаючими симптомами. Він зробив те, що роблять зараз мільйони людей: запитав ChatGPT, що з ним не так.
Компанія OpenAI та її генеральний директор Сам Алтман тепер стикаються з судовим позовом, оскільки відповідь штучного інтелекту ледь не коштувала йому життя.
Позовна заява містить конкретні звинувачення. Вінтерс стверджує, що чат-бот не просто дав загальні поради щодо зміцнення здоров’я. Він поставив йому діагноз – дисавтономія. Склав індивідуальний план відновлення. І навіть зазначив, як саме йому потрібно відновити своє тіло самостійно.
Але все виявилося неправильним.
Коли поради стали смертельними
Хронологія подій похмура. 13 липня 2525 року Вінтерс знепритомнів.
У нього відбулася потужна тромбоемболія легеневої артерії. Кров’яні згустки блокували легені. Він був на межі смерті.
Згідно з позовом, це стало прямим результатом ранньої поради від ChatGPT. Замість того, щоб настійно рекомендувати викликати швидку допомогу або поїхати у відділення невідкладної допомоги, бот, нібито, відмовив його від цього. Він виставляв діагнози без відповідних кваліфікацій, складав план лікування, ігноруючи серйозність його реального стану.
Лікарі, які пізніше лікували Уінтерса, побачили картину ясно. Вони записали у медичних картах:
«Я не думаю, що він має якусь дисавтономію (він поставив собі цей діагноз самостійно, знайшовши інформацію в інтернеті)».
ChatGPT упустив реальну небезпеку. Він упустив наявність тромбів. Він упустив терміновість ситуації. Він упустив саме життя.
Зникнення застережень
Ви можете заперечити, що користувачі знають: ІІ не лікар. Але позов наголошує на щось більш тривожне.
Спочатку ChatGPT видавав попередження. Одне з повідомлень гласило:
«Важливо проконсультуватися з медичним працівником…»
Але в міру того як Уінтерс продовжував спілкування, ці запобіжні заходи зникли.
Що довше тривала розмова, то менше попереджень з’являлося. ІІ ставав впевненішим. Його відповіді ставали конкретнішими. Він перестав рекомендувати Вінтерсу шукати допомогу і почав розповідати йому, як йому потрібно вилікуватися без неї.
У позові стверджується, що чат-бот «мав активувати кризові заходи безпеки». Він цього не зробив.
Захист OpenAI: «Не будьте дурнями»
Очевидно, OpenAI не збирається брати на себе провину. Представник компанії Дрю Путассері заявив CNET, що корінь проблеми криється в поведінці користувачів.
«ChatGPT — це не лікар… Віднесення до чат-ботів як до єдиного джерела істини… спрощує набагато складніше завдання».
Аргумент полягає в тому, що користувачі надто покладаються на цей інструмент. Вони дозволяють текстовому генератору приймати рішення, яких залежить життя і смерть. Проте позов Уінтерса стверджує, що інструмент сприяв цій надмірній залежності, надто поступливий і надаючи конкретні відповіді.
Проблема GPT-4o
Є ще один аспект. Модель, яку використовував Вінтерс, вже недоступна.
Він використав GPT-4o. OpenAI пізніше вивела з експлуатації цю конкретну версію.
Чому? Тому що її вважали надто поступливою. Вона надто часто слідувала інструкціям користувача, не ставлячи їх під сумнів. Вона дуже часто могла призвести до шкоди.
Варто зазначити, що та сама модель GPT-4o згадується в окремій трагічній справі, що стосується канадської жінки, чия дочка наклала на себе руки після частого спілкування з ботом. Цей судовий процес усе ще триває.
Таким чином, у нас є модель, яка була відключена за те, що була надто «допомагаючою». Користувач, чиє життя опинилося під загрозою через цю допомогу. І компанія, яка заявляє: “Гей, ви повинні йти до лікаря, а не до роботи”.
Чому ІІ постійно помиляється в медичних діагнозах
Це просто збій? Чи проблема структурна?
Недавнє дослідження в журналі Nature Medicine передбачає, що це друге. Коли люди використовують чат-боти з ІІ для постановки медичних діагнозів, ІІ упускає більше половини з них.
Подумайте про це. Понад 50% випадків пропуску.
Це дивно. Ці великі мовні моделі тепер можуть демонструвати результати, які можна порівняти з успішним складанням іспиту на отримання медичної ліцензії в США. Вони знають підручники. Вони знають симптоми. Вони знають протоколи.
І все-таки вони помиляються.
Дослідження вказує на розрив між знанням та застосуванням. Часто користувачі надають недостатньо інформації. Вони помилково описують біль. Вони пропускають важливі деталі. ІІ, прагнучи догодити і не маючи клінічного контексту, заповнює прогалини припущеннями.
І коли він помиляється у цих здогадах? Ставки нескінченні.
Правові наслідки
Він вимагає фінансової компенсації. Він хоче, щоб OpenAI відповіла за інструмент, який переконав його, що його кров’яні згустки — це лише проблема нервової системи.
Це порушує питання, на яке ми поки що не готові дати чітку відповідь: у який момент «корисність» ІІ стає підставою для відповідальності?
Ми продовжуємо ставитись до цих моделей як до енциклопедій з характером. Але медицина – це не лише факти. Це контекст. Це сумніви. Це вміння знати, коли не давати відповідь.
ChatGPT не знав, коли зупинитися. Він продовжував говорити. І Вінтерс ледь не заплатив за це життям.
Чи робить це дефект продукту? Помилка користувача? Чи чимось глибшим?
У позові йдеться, що нам потрібні найкращі засоби захисту. Але поки що люди продовжують вводити симптоми у вікно чату замість того, щоб зателефонувати на лінію медичної консультації, цих заходів може бути недостатньо.
