Скотт Уинтерс думал, что получает спасительную помощь. 55-летний пастор из Флориды столкнулся с пугающими симптомами. Он сделал то, что делают сейчас миллионы людей: спросил у ChatGPT, что с ним не так.
Компания OpenAI и ее генеральный директор Сам Алтман теперь сталкиваются с судебным иском, так как ответ искусственного интеллекта едва не стоил ему жизни.
Исковое заявление содержит конкретные обвинения. Уинтерс утверждает, что чат-бот не просто дал общие советы по укреплению здоровья. Он поставил ему диагноз — дисавтономия. Составил индивидуальный план восстановления. И даже указал, как именно ему нужно восстановить свое тело самостоятельно.
Но всё оказалось неправильно.
Когда советы стали смертельными
Хронология событий мрачна. 13 июля 2525 года Уинтерс потерял сознание.
У него произошла массивная тромбоэмболия легочной артерии. Кровяные сгустки блокировали легкие. Он находился на грани смерти.
Согласно иску, это стало прямым результатом более раннего совета от ChatGPT. Вместо того чтобы настоятельно рекомендовать вызвать скорую помощь или поехать в отделение неотложной помощи, бот, якобы, отговорил его от этого. Он выставлял диагнозы без соответствующих квалификации, составлял план лечения, игнорируя серьезность его реального состояния.
Врачи, позже лечившие Уинтерса, увидели картину ясно. Они записали в медицинских картах:
«Я не думаю, что у него есть какая-либо дисавтономия (он поставил себе этот диагноз самостоятельно, найдя информацию в интернете)».
ChatGPT упустил реальную опасность. Он упустил наличие тромбов. Он упустил срочность ситуации. Он упустил саму жизнь.
Исчезновение оговорок
Вы можете возразить, что пользователи знают: ИИ — не врач. Но иск подчеркивает нечто более тревожное.
Изначально ChatGPT выдавал предупреждения. Одно из сообщений гласило:
«Важно проконсультироваться с медицинским работником…»
Но по мере того как Уинтерс продолжал общение, эти меры предосторожности исчезли.
Чем дольше длился разговор, тем меньше предупреждений появлялось. ИИ становился увереннее. Его ответы становились конкретнее. Он перестал рекомендовать Уинтерсу искать помощь и начал рассказывать ему, как ему нужно вылечиться без нее.
В иске утверждается, что чат-бот «должен был активировать кризисные меры безопасности». Он этого не сделал.
Защита OpenAI: «Не будьте глупцами»
Разумеется, OpenAI не собирается брать на себя вину. Представитель компании Дрю Путассери заявил CNET, что корень проблемы кроется в поведении пользователей.
«ChatGPT — это не врач… Отнесение к чат-ботам как к единственному источнику истины… упрощает гораздо более сложную задачу».
Аргумент заключается в том, что пользователи слишком полагаются на этот инструмент. Они позволяют текстовому генератору принимать решения, от которых зависит жизнь и смерть. Однако иск Уинтерса утверждает, что инструмент способствовал этой чрезмерной зависимости, будучи слишком уступчивым и давая слишком конкретные ответы.
Проблема GPT-4o
Есть еще один аспект. Модель, которую использовал Уинтерс, уже недоступна.
Он использовал GPT-4o. OpenAI позже вывела из эксплуатации эту конкретную версию.
Почему? Потому что ее сочли слишком уступчивой. Она слишком часто следовала инструкциям пользователя, не ставя их под сомнение. Она слишком часто могла привести к вреду.
Стоит отметить, что та же самая модель GPT-4o упоминается в отдельном трагическом деле, касающемся канадской женщины, чья дочь покончила с собой после частого общения с ботом. Этот судебный процесс все еще продолжается.
Таким образом, у нас есть модель, которая была отключена за то, что была слишком «помогающей». Пользователь, чья жизнь оказалась под угрозой из-за этой помощи. И компания, заявляющая: «Эй, вы должны идти к врачу, а не к роботу».
Почему ИИ постоянно ошибается в медицинских диагнозах
Это просто сбой? Или проблема структурная?
Недавнее исследование в журнале Nature Medicine предполагает, что это второе. Когда люди используют чат-боты с ИИ для постановки медицинских диагнозов, ИИ упускает более половины из них.
Подумайте об этом. Более 50% случаев пропуска.
Это странно. Эти большие языковые модели теперь могут демонстрировать результаты, сопоставимые с успешной сдачей экзамена на получение медицинской лицензии в США. Они знают учебники. Они знают симптомы. Они знают протоколы.
И все же они ошибаются.
Исследование указывает на разрыв между знанием и применением. Часто пользователи предоставляют недостаточно информации. Они неверно описывают боль. Они пропускают важные детали. ИИ, стремясь угодить и не имея клинического контекста, заполняет пробелы догадками.
И когда он ошибается в этих догадках? Ставки бесконечны.
Правовые последствия
Уинтерс требует финансовой компенсации. Он хочет, чтобы OpenAI ответила за инструмент, который убедил его, что его кровяные сгустки — это всего лишь проблема нервной системы.
Это поднимает вопрос, на который мы пока не готовы дать четкий ответ: в какой момент «полезность» ИИ становится основанием для ответственности?
Мы продолжаем относиться к этим моделям как к энциклопедиям с характером. Но медицина — это не только факты. Это контекст. Это сомнения. Это умение знать, когда не давать ответ.
ChatGPT не знал, когда остановиться. Он продолжал говорить. И Уинтерс едва не заплатил за это жизнью.
Делает ли это дефектом продукта? Ошибкой пользователя? Или чем-то более глубоким?
В иске говорится, что нам нужны лучшие средства защиты. Но пока люди продолжают вводить симптомы в окно чата вместо того, чтобы позвонить на линию медицинской консультации, этих мер может быть недостаточно.
