Scott Winters si myslel, že dostává pomoc při záchraně života. 55letý floridský pastor pociťoval děsivé příznaky. Udělal to, co nyní dělají miliony lidí: zeptal se ChatGPT, co je na tom špatného.
OpenAI a její generální ředitel Sam Altman nyní čelí právním krokům poté, co ho reakce AI málem stála život.
Žaloba obsahuje konkrétní tvrzení. Winters říká, že chatbot neposkytoval pouze obecné zdravotní rady. Diagnostikoval mu dysautonomii. Vytvořil individuální plán obnovy. A dokonce přesně naznačil, jak potřebuje své tělo obnovit sám.
Všechno se ale ukázalo jako špatně.
Když se rada stala smrtící
Chronologie událostí je ponurá. 13. července 2525 Winters ztratil vědomí.
Prodělal masivní plicní embolii. Krevní sraženiny blokovaly plíce. Byl na pokraji smrti.
Podle žaloby to byl přímý důsledek dřívější rady od ChatGPT. Místo důrazného doporučení, aby si zavolal záchranku nebo jel na pohotovost, ho prý od toho bot odradil. Stanovil diagnózy bez patřičné kvalifikace a vypracoval plán léčby, přičemž ignoroval vážnost svého skutečného stavu.
Lékaři, kteří Winterse později léčili, viděli obraz jasně. Do lékařských záznamů zapsali:
“Nemyslím si, že má nějaký druh dysautonomie (tu sám diagnostikoval tím, že našel informace na internetu).”
ChatGPT minul skutečné nebezpečí. Chyběla mu přítomnost krevních sraženin. Unikl mu naléhavost situace. Chyběl mu život samotný.
Zmizení rezervací
Můžete namítnout, že uživatelé vědí: AI není lékař. Žaloba ale poukazuje na něco znepokojivějšího.
Zpočátku, ChatGPT vydal varování. Jedna ze zpráv zněla:
„Je důležité poradit se s lékařem…“
Ale jak Winters pokračoval v komunikaci, tato opatření zmizela.
Čím déle rozhovor trval, tím méně varování se objevovalo. AI se stala sebevědomější. Jeho odpovědi se staly konkrétnějšími. Přestal říkat Wintersovi, aby vyhledal pomoc, a začal mu říkat, jak se potřebuje vyléčit bez ní.
Žaloba tvrdí, že chatbot „měl aktivovat krizová bezpečnostní opatření“. On ne.
Obrana OpenAI: “Nebuď hloupý”
OpenAI samozřejmě nenese vinu. Mluvčí společnosti Drew Pootassery řekl CNET, že kořen problému spočívá v chování uživatelů.
“ChatGPT není lékař… Zacházení s chatboty jako s jediným zdrojem pravdy… zjednodušuje mnohem složitější problém.”
Argumentem je, že uživatelé na tento nástroj příliš spoléhají. Umožňují generátoru textu rozhodovat se o životě a smrti. Wintersova žaloba však tvrdí, že nástroj přispěl k tomuto přílišnému spoléhání se tím, že byl příliš vstřícný a poskytoval příliš konkrétní odpovědi.
Problém GPT-4o
Je tu ještě jeden aspekt. Použitý model Winters již není dostupný.
Použil GPT-4o. OpenAI později tuto konkrétní verzi vyřadila z provozu.
Proč? Protože byla považována za příliš poddajnou. Příliš často se řídila pokyny uživatele, aniž by se jich vyptávala. Příliš často to může vést k poškození.
Stojí za zmínku, že stejný model GPT-4o byl zmíněn v samostatném tragickém případu Kanaďanky, jejíž dcera spáchala sebevraždu po časté komunikaci s robotem. Tento soudní spor stále probíhá.
Máme tedy model, který byl deaktivován, protože byl příliš „užitečný“. Uživatel, jehož život byl kvůli této pomoci v ohrožení. A společnost říká: “Hele, měl bys jít k doktorovi, ne k robotovi.”
Proč AI stále dělá lékařské diagnózy špatně
Je to jen závada? Nebo je problém strukturální?
Nedávná studie v časopise Nature Medicine naznačuje, že jde o to druhé. Když lidé používají AI chatboty k provádění lékařských diagnóz, AI jich více než polovinu mine.
Přemýšlejte o tom. Více než 50 % případů je vynecháno.
To je zvláštní. Tyto velké jazykové modely nyní mohou prokázat výkon srovnatelný s absolvováním lékařské licenční zkoušky v USA. Znají učebnice. Znají příznaky. Znají protokoly.
A přesto se mýlí.
Studie poukazuje na propast mezi znalostmi a aplikací. Uživatelé často poskytují nedostatečné informace. Špatně popisují bolest. Chybí jim důležité detaily. Umělá inteligence, která touží potěšit a postrádá klinický kontext, zaplňuje mezery hádáním.
A kdy se v těchto odhadech mýlí? Sázky jsou nekonečné.
Právní důsledky
Winters požaduje finanční odškodnění. Chce, aby OpenAI odpovídala za nástroj, který ho přesvědčil, že jeho krevní sraženiny byly jen problémem nervového systému.
To vyvolává otázku, na kterou ještě nejsme připraveni jasně odpovědět: v jakém bodě se „užitečnost“ umělé inteligence stává základem odpovědnosti?
S těmito modely nadále zacházíme jako s encyklopediemi s charakterem. Medicína však nejsou jen fakta. Toto je kontext. To jsou pochybnosti. Je to vědět, kdy ne dát odpověď.
ChatGPT nevěděl, kdy přestat. Mluvil dál. A Winters za to málem zaplatil životem.
Je to vada produktu? Chyba uživatele? Nebo něco hlubšího?
Žaloba říká, že potřebujeme lepší ochranu. Ale dokud lidé budou nadále zadávat příznaky do okna chatu místo toho, aby volali na lékařskou linku, tato opatření nemusí stačit.
