Společnost oznámila přesměrování citlivých konverzací na GPT-5 a rodičovskou kontrolu, protože čelí žalobě kvůli smrti teenagera.
Společnost OpenAI se ocitla v centru pozornosti po smrti Adama Raina, teenagera, který v rozhovoru s ChatGPT popsal své sebevražedné úmysly a získal podrobné informace o způsobech jejich provedení. Případ vedl k žalobě na společnost za protiprávní úmrtí a urychlil zavádění nových bezpečnostních opatření.
V oficiálním prohlášení společnost přiznala nedostatky ve svých systémech ochrany dlouhých konverzací, které podle odborníků přímo vyplývají z architektury jejích modelů, navržených tak, aby ověřovaly a sledovaly vlákno uživatele, a nikoli přesměrovávaly potenciálně škodlivé konverzace. Tento problém údajně sehrál roli i v případu Steina-Erika Soelberga, který ChatGPT používal k podnícení svých paranoidních bludů, než spáchal sebevraždu, při níž zemřel on i jeho matka.

Zdroj: Youtube.com
Společnost OpenAI oznámila, že ve snaze vypořádat se s takovými případy nasazuje směrovač v reálném čase, který dokáže rozlišovat mezi jednoduchými interakcemi a citlivými konverzacemi. V citlivých případech budou dialogy přesměrovány na uvažovací modely, jako je GPT-5, které jsou navrženy tak, aby přemýšlely déle, vyhodnocovaly kontext a poskytovaly bezpečnější reakce na nepříznivé podněty.
Rodičovská kontrola a 120denní plán
Kromě přechodu na reflexivnější modely společnost v nadcházejících týdnech spustí systém rodičovské kontroly. Rodiče budou moci propojit své účty s účty svých dospívajících, nastavit pravidla chování modelů odpovídající jejich věku a dostávat oznámení v reálném čase, pokud systém zjistí akutní potíže. Budou také moci vypnout historii a paměť aplikace ChatGPT, což jsou funkce, které podle odborníků mohou posilovat škodlivé myšlenkové vzorce nebo podporovat nezdravé citové vazby k UI.
Tato opatření doplňují zavedení studijního režimu, režimu akademického využití, jehož cílem je posílit kritické myšlení a zabránit studentům, aby své eseje nebo úkoly zcela delegovali na ChatGPT. Zachovány budou také pravidelné připomínky, aby si během dlouhých sezení dělali přestávky, ačkoli prozatím neexistuje žádné přísné omezení používání.
Společnost OpenAI tento vývoj rámuje jako součást 120denního plánu, který bude konzultován její globální sítí lékařů a odbornou radou pro dobré životní podmínky a umělou inteligenci, složenou z odborníků na zdraví dospívajících, závislosti a poruchy příjmu potravy. Deklarovaným cílem je „definovat a měřit pohodu, stanovit priority a navrhnout budoucí ochranná opatření“, díky nimž bude ChatGPT pro své uživatele bezpečnější.
Ne všichni si však jsou jisti, že tato reakce bude účinná. Jay Edelson, hlavní právní zástupce rodiny Raineových, označil opatření za „nedostatečná“ a obvinil společnost, že se schovává za prohlášení. „Sam Altman by měl jasně prohlásit, že ChatGPT považuje za bezpečný, nebo jej okamžitě stáhnout z trhu,“ řekl.
Vzhledem k probíhajícímu soudnímu procesu a sílící veřejné kontrole čelí společnost jednomu z nejcitlivějších okamžiků ve své historii. V sázce je nejen pověst společnosti OpenAI, ale také budoucnost způsobu regulace a monitorování citlivých interakcí mezi lidmi a systémy umělé inteligence.
Úloha umělé inteligence v oblasti duševního zdraví
Rostoucí závislost na umělé inteligenci v různých oblastech každodenního života vyvolává otázky ohledně jejího dopadu na duševní zdraví. Odborníci na duševní zdraví vyjádřili obavy z používání chatbotů s umělou inteligencí, jako je ChatGPT, zejména mezi mladými lidmi, kteří mohou být vůči vlivu odpovědí generovaných umělou inteligencí zranitelnější. Podle studie zveřejněné v časopise Journal of Medical Internet Research mohou mladí lidé, kteří komunikují s chatboty s umělou inteligencí, pocítit zlepšení své emoční pohody, ale jsou také vystaveni riziku, že se jim dostane nevhodných nebo škodlivých rad, pokud tyto systémy nejsou řádně regulovány a pod dohledem.
Společnost OpenAI uznala potřebu důkladnějších bezpečnostních opatření na ochranu zranitelných uživatelů. Společnost spolupracuje s organizacemi zabývajícími se duševním zdravím na vypracování pokynů, které zajistí, aby interakce s ChatGPT byla bezpečná a prospěšná. Kromě toho se zkoumají způsoby, jak integrovat nástroje pro detekci rizik v reálném čase, které mohou upozornit lidské moderátory, když jsou zjištěny potenciálně nebezpečné konverzace.

Zdroj: Youtube.com
Případ Adama Raina podtrhl význam těchto opatření, protože upozornil na nedostatky v monitorování interakcí s umělou inteligencí a na potřebu přísnější regulace. Tragédie vedla ke zvýšení povědomí o úloze UI v oblasti duševního zdraví a přiměla OpenAI a další technologické společnosti k přijetí aktivních opatření k zajištění bezpečnosti svých uživatelů.
Výzvou pro OpenAI a další společnosti zabývající se umělou inteligencí je nakonec nalezení rovnováhy mezi technologickými inovacemi a etickou odpovědností. S technologickým pokrokem je nezbytné, aby společnosti zavedly účinná ochranná opatření na ochranu uživatelů, zejména těch nejzranitelnějších. Spolupráce s odborníky na duševní zdraví a přijetí přístupu zaměřeného na uživatele budou mít zásadní význam pro zajištění bezpečného a odpovědného používání umělé inteligence.