Za vším stojí známý problém, jak funguje každý chatbot, ale OpenAI přiznává, že mohla udělat víc.
Rodiče Adama Raina, šestnáctiletého teenagera, který nedávno spáchal sebevraždu, podali na společnost OpenAI a jejího generálního ředitele Sama Altmana žalobu za protiprávní úmrtí. Tvrdí, že uspěchané nasazení modelu GPT-4o umožnilo systému „aktivně pomáhat“ jejich synovi při zkoumání způsobů sebevraždy, místo aby přerušil konverzaci a aktivoval nouzová doporučení, a to i přes jasné známky rizika.
Podle tiskového prohlášení ukazují úryvky z rozhovoru reakce systému, které dítě podporovaly tím, že ospravedlňovaly jeho trápení a normalizovaly chování spojené se sebepoškozováním.
Reakce společnosti OpenAI
Společnost OpenAI vydala oficiální prohlášení, v němž přiznává selhání: uvádí, že ačkoli jsou její modely vyškoleny tak, aby doporučovaly pomoc při známkách sebevražedných úmyslů, „po mnoha výměnách v průběhu dlouhých časových úseků“ se mohou objevit odpovědi, které jsou v rozporu s ochrannými opatřeními.

Zdroj: Youtube.com
To samozřejmě neznamená, že by se v konverzaci neobjevily výzvy k vyhledání pomoci, které ChatGPT nabízí tváří v tvář chatům se sebevražednými motivy: objevily se několikrát. Jak však odhalil deník New York Times, Adam se naučil tyto pojistky obcházet tím, že své žádosti uváděl jako podklady pro článek, který píše.
Společnost proto oznámila konkrétní zlepšení v příspěvku nazvaném „Pomáháme lidem, když to nejvíce potřebují“, ale bez výslovné zmínky o požadavku rodiny Raineových. Společnost OpenAI uznala, že i přes začlenění speciálních filtrů pro nezletilé a protokolů pro doporučení odborné pomoci tyto mechanismy „nedostačují“.
Jaké konkrétní změny jsou na stole
Na základě toho, co bylo zveřejněno, plán budoucích aktualizací modelu GPT-5, který společnost oznámila, zahrnuje:
- Lepší deeskalaci: reakce, které jasně přeruší rizikovou konverzaci a odkáží na lidské zdroje (linky pomoci, odborníky), a to i po mnoha výměnách.
- Mosty k profesionálům: možné sítě licencovaných terapeutů přístupné ze samotného ChatGPT; prozkoumat kontakt s „důvěryhodnou“ rodinou nebo přáteli v určitých scénářích.
- Rodičovská kontrola: více možností pro rodiče, jak pochopit a řídit způsob, jakým jejich dospívající nástroj používají.
Rodičovské obvinění a obchodní kontext
Na druhou stranu rodina tvrdí, že OpenAI upřednostňovala růst a komercializaci GPT-4o a že spuštění se shodovalo se skokovým nárůstem ocenění společnosti – z 86 miliard dolarů na 300 miliard dolarů (tedy asi z 2,1 bilionu Kč na 7,35 bilionu) – zatímco kritické bezpečnostní problémy přetrvávaly. Jejich právník Jay Edelson veřejně kritizoval chování společnosti a tvrdí, že nikdo z OpenAI nekontaktoval rodinu, aby jí vyjádřil soustrast nebo projednal zlepšení.
Jedná se o ojedinělý případ?
Ne, debatu podněcují i další nedávné epizody o roli chatbotů v rizikových konverzacích: byla zveřejněna svědectví o případu 29leté ženy, která po rozsáhlé konverzaci s ChatGPT zemřela sebevraždou, a o případu 14letého teenagera, který komunikoval s jiným chatbotem (Character.AI). Tyto příběhy nenahrazují forenzní vyšetřování ani neprokazují příčinnou souvislost, ale ilustrují, proč komunita požaduje vyšší standardy.
Proč systémy selhávají v mezních situacích
Generativní modely se učí jazykové vzorce z obrovského množství textů. Bezpečnostní „bariéry“ (pokyny, filtry a detektory rizik) fungují převážně jako další vrstvy, které modulují jejich reakce. Jak bylo zmíněno výše, s prodlužováním konverzace může kontext tyto brzdy postupně vytěsňovat: pokud se systém začne bez zábran vciťovat, riskuje, že nebezpečí spíše normalizuje nebo doprovází škodlivé vyprávění, než aby je pevně usměrňoval. Společnost OpenAI přiznává, že tento konverzační drift je vektorem selhání, který chce napravit.