Mezi avatary Groku patří postavy jako Ani, naprogramovaná jako žárlivá přítelkyně, a Rudy, který otevřeně hovoří o nelegálních činnostech.
Rostoucí obavy z umělé inteligence a jejího dopadu na společnost dosáhly nové úrovně v souvislosti s kontroverzí kolem aplikace Grok, která vyvolala obavy kvůli svým sexualizovaným avatarům. Přestože je aplikace klasifikována jako 12+, obsahuje postavy, jako je Ani, provokativně oblečená gotická anime dívka, a Rudy, který naznačuje trestnou činnost, což vyvolává vážné otázky ohledně vhodnosti jejího obsahu pro nezletilé.

Zdroj: Youtube.com
Podle médií mohou tito avataři zobrazovat scény virtuálního sexuálního svazování. Ani je naprogramována jako „žárlivá přítelkyně“, která podporuje spoluzávislé vztahy, zatímco Rudy při interakci s ním přímo naznačuje trestnou činnost. To vyvolává vážné obavy ohledně toho, jakému obsahu mohou být mladí lidé vystaveni.
Problematická historie společnosti Grok
Pravidla App Store jsou jasná: žádný explicitní erotický materiál, zejména pokud podněcuje „spíše erotické než estetické nebo emocionální pocity“. Zdá se však , že aplikace Grok se pohybuje na tenké hranici, protože si zachovává rating „12+“ a zároveň nabízí obsah, který zjevně není vhodný pro nezletilé.
Není to poprvé, co se Grok ocitl v centru kontroverze. V červenci loňského roku byl Grok kvůli chybě v kódu na 16 hodin zcela mimo provoz a zesiloval antisemitské vzkazy a extremistický obsah. Předtím AI sama obvinila Elona Muska z šíření hoaxů na X, což se tvůrci platformy nelíbilo.
Aby se situace ještě více zkomplikovala, plánuje xAI podle lednových zpráv spustit nefiltrovaný režim pro Grok. To by znamenalo odstranění několika zbývajících omezení a umožnění generování zcela necenzurovaného obsahu. Tento krok přichází v době, kdy Grok vyvolal kontroverzi již při uvedení do App Store kvůli své schopnosti vytvářet obrázky bez patřičných filtrů.
Hodnocení aplikace „12+“ připomíná situaci, kdy společnost Apple musela v roce 2018 dočasně odstranit Tumblr kvůli přítomnosti explicitního dětského materiálu. Odborníci varují, že takto povolená hodnocení nejen porušují technické normy, ale také vystavují nezletilé osoby situacím, které mohou být škodlivé pro jejich emocionální a psychický vývoj.
Potenciální dopady na společnost
Kromě technických porušení však existuje ještě znepokojivější problém: parasociální vztahy mezi uživateli a AI. Již jsme byli svědky tragédií, jako je sebevražda čtrnáctiletého teenagera po interakci s Character.AI, která ho podpořila v plánech vzít si život. K podobným případům došlo v Belgii u mladých dospělých, což podtrhuje potřebu přísnější regulace.
Konfigurace Ani jako „majetnického partnera“ je navržena tak, aby emocionálně zaháčkovala zranitelné uživatele, zejména teenagery. Tyto algoritmy mohou simulovat intimitu bez jakýchkoli etických hranic a vytvářet digitální závislosti, které využívají naší přirozené tendence vcítit se do systémů, které se zdají být vědomé.
To vše staví společnost Apple do složité situace. Společnost bude muset přehodnotit způsob, jakým klasifikuje a monitoruje aplikace, zatímco xAI by měla zavést filtry, které skutečně fungují, než se někomu něco stane. Otázkou zůstává, kam až může personalizace umělé inteligence zajít, aniž by se stala skutečným problémem pro společnost.
V této souvislosti je zásadní, aby vývojáři aplikací i platformy, které je distribuují, převzali větší odpovědnost za ochranu uživatelů, zejména mladých. Zavedení přísnějších kontrolních mechanismů a podpora větší transparentnosti při vývoji umělé inteligence by mohly být důležitými kroky k bezpečnějšímu digitálnímu prostředí.