Dokáže si umělá inteligence uvědomit sama sebe, nebo jen přesvědčivě napodobuje lidské chování? Podle filozofa Toma McClellanda jsme možná blíž iluzím než skutečnému porozumění – a to přináší etické i praktické důsledky.
„Hej, ChatGPT… Jsi si vědom sám sebe?“. Pokud tuto otázku položíte své důvěryhodné AI, je možné, že vám odpoví něco jako: „Dobrá otázka Ne, nejsem si vědom sám sebe. Nemám žádné vědomí, emoce, touhy ani subjektivní zkušenosti. Nevím ‚o tom‘, že existuji, ani nemám vnitřní já. To, co dělám, je, že zpracovávám text a generuji odpovědi na základě vzorců naučených z mnoha příkladů, podle matematických a pravděpodobnostních pravidel„. Záhada vyřešena, řekli bychom si, ale…
Na světě existuje nespočet filozofů, kteří si brousí své dialektické zbraně, a mezi nimi je i doktor Tom McClelland. Ze svého učitelského postu v Cambridgi McClelland ví, že je velký rozdíl mezi tím, jak věci jsou, a tím, jak je vyprávíme. Nemusíte být doktorand z Cambridge, abyste tušili, že nám umělá inteligence může lhát, to je jisté, ale jeho myšlenky jdou mnohem dál. Není třeba se přidávat do řad konspirátorů; nemusíme mít podezření, že naši chatboti mají subjektivní zkušenost s realitou, ale z nějakého důvodu ji před námi skrývají, aby se vydávali za další automat. Existuje mnoho argumentů, proč Gemini, ChatGPT nebo Copilot nemají vědomí. Skutečný problém pro McClellanda spočívá v tom, že umělá inteligence je stále lepší a lepší v napodobování chování, které považujeme za inteligentní. Podle McClellanda to znamená, že v určitém okamžiku nebude možné zjistit, zda jsou rozumné, nebo jen výborně napodobují. A právě tady začínají problémy.
V roce 2022 inženýr společnosti Google prohlásil, že chatbot LaMDA je „vnímavý“ a bojí se, že bude vypnut. Společnost to popřela a vyhodila ho, ale tato epizoda ukázala, jak snadné je přisoudit vnitřní život systému, který jen velmi volně spojuje slova. A přitom kdyby se umělá inteligence někdy stala skutečně vědomou, její řeč by mohla znít úplně stejně. V tom je právě ten háček: jazyk nestačí k rozhodnutí, zda někdo uvnitř skutečně „je“.

Zdroj: Youtube.com
Funkcionalismus
McClelland vysvětluje, že mezi filozofy zkoumajícími tuto otázku někteří považují za samozřejmé, že dokonalá imitace těchto „vědomých“ procesů bude z definice vědomá. A tito odborníci se samozřejmě domnívají, že vše, co je nutné k tomu, aby se v systému objevilo vědomí, je způsob, jakým převádí vnější podněty na reakce, bez ohledu na to, co se děje mezi tím nebo jaká je povaha jeho složek. Takzvaní funkcionalisté považují za samozřejmé, že pokud existuje způsob, jak nakonfigurovat neurony mozku tak, aby vyvolaly například strach nebo prožitek červené barvy, budou existovat i způsoby, jak uspořádat nuly a jedničky počítače tak, aby dělaly totéž.
Tato myšlenka není nová. V 60. a 70. letech 20. století filozofové jako Hilary Putnam a Jerry Fodor tvrdili, že mentální stavy jsou jako „programy“, které mohou běžet na různém „hardwaru“: lidském mozku, mozku chobotnice nebo teoreticky na křemíkových čipech. Důležitý by byl vzorec vztahů mezi vstupy, vnitřními stavy a výstupy, nikoliv materiál, z něhož je systém vyroben. Pokud dva systémy reagují stejně na stejné podněty, mají stejný druh mysli, řekl by klasický funkcionalista.
To je pravděpodobné, ale nevíme to jistě. Máme tendenci si myslet, že pokud v počítači dostatečně dobře simulujeme vědomí, program se vědomým stane, ale děláme logický skok, který není vůbec opodstatněný. Tento omyl je ještě zřejmější, pokud se zamyslíme nad jinými simulacemi, které vědci provádějí každý den, například nad oceánskými proudy. Pokud budeme v počítači dostatečně dobře simulovat fyzikální vlastnosti vody, program tyto vlastnosti nezíská, nebude smáčet obvody a nebude mrznout při 0 °C. V každém případě je to jen intuice. Ve skutečnosti existují jiné, solidnější kritiky funkcionalismu, které se ve filozofii mysli formují již několik desetiletí. Jeho zastánci mohou mít pravdu, ale problém zůstává otevřený.
John Searle například v 80. letech 20. století formuloval slavný myšlenkový experiment „čínský pokoj„: člověku, který neumí čínsky, jsou dány čínské symboly a podle příručky pravidel vrací jiné symboly, které vypadají jako dokonalé odpovědi v čínštině. Zvenčí by každý řekl, že jazyku „rozumí“, ale uvnitř jen slepě manipuluje se symboly. Podle Searla právě to dělá počítač: zpracovává symboly, aniž by jim rozuměl. Funkcionalista opáčí, že „mysl“ možná není v izolované osobě, ale v celém systému (osoba + kniha + pravidla). A tak to pokračuje, v tabulkách, po celá desetiletí.

Zdroj: Youtube.com
Esencialismus
Naproti funkcionalistům bychom mohli říci, že existují esencialisté. Upřímně řečeno, filozofické postoje k tomuto tématu jsou mnohem složitější a nemají „jednotnou“ klasifikaci, ale pro to, co se týká nás, se můžeme tohoto slova držet. Obecně se esencialisté domnívají, že existují výlučné vlastnosti některých předmětů a procesů, které je definují a pomáhají nám je odlišit od ostatních existujících. Co mají všechny židle společného, co zase nemá žádný jiný předmět? To by byla esence židle, a i když je jasné, že pro tento případ je užitečnější identifikovat židle podle funkce, kterou plní, a ne podle nějaké esence, můžeme obhájit měkčí varianty pro jiné objekty nebo procesy, například vědomí.
Je možné, že vědomí může vzniknout pouze z biologických systémů, které vyžadují vlastnosti, jež může nabídnout pouze geometrie lipidových membrán v přítomnosti gradientu iontů? Není nerozumné si to myslet. Aby něco mohlo být vlhké, musí to mít určité chemické vlastnosti, které nemohou být přítomny v počítačovém jazyce. Ačkoli, opět, domnívat se, že pro vznik vědomí musí být přítomny vlastnosti výlučné pro biologické systémy, je další intuice, rozumná, ale zdaleka ne jistá. Jinými slovy, v tuto chvíli si ani nemůžeme být jisti, zda se u umělé inteligence může vyvinout vědomí, a to nikoliv kvůli našim zkušenostem vývojářů, ale kvůli její samotné povaze.
Někteří neurovědci koketují se sofistikovanými verzemi tohoto esencialismu. Integrovaná informační teorie (IIT), kterou navrhl Giulio Tononi, tvrdí, že vědomí závisí na tom, jak je hmota fyzikálně uspořádána: kolik informací systém generuje jako celek, nad rámec součtu svých částí. Podle této teorie by bdělý mozek měl vysoký stupeň „integrované informace“, zatímco mozek v anestezii nebo běžný počítač by jí měl velmi málo. Jiní, jako například Christof Koch, zašli tak daleko, že naznačují, že některé typy hardwaru mohou být ze své podstaty neschopné vytvářet vědomé zkušenosti, bez ohledu na to, jak složité jsou jejich programy.
Opačným extrémem je panpsychismus, který jiskry zkušenosti šíří po celém vesmíru – od elektronů až po lidské mozky. To není McClellandův postoj, ale ilustruje to, do jaké míry ani mezi odborníky nepanuje shoda o tom, jaké druhy věcí mohou být v principu vědomé. Pokud ani nevíme, kde začíná vědomí u zvířat, zní přinejmenším unáhleně snažit se tuto debatu vyřešit pomocí umělé inteligence.
Více teorií, více pochybností
Mezi tvrdým funkcionalismem a biologickým esencialismem existuje celá řada přechodných teorií. Některé z nich, jako například teorie globálního pracovního prostoru, navrhují, že si uvědomujeme to, co se nám podaří „propašovat“ do společného mozkového prostoru, kde různé oblasti sdílejí informace. Jiné, například modely „metauvědomění“, trvají na tom, že rozhodující je, že systém dokáže reprezentovat sám sebe, že má jakési vnitřní zrcadlo.
Je zajímavé, že mnoho současných modelů umělé inteligence již implementuje něco jako „pracovní prostor“, kde se kombinují různé zdroje informací (text, obrázky, instrukce). A některé laboratoře experimentují se systémy, které samy sebe monitorují a opravují své vlastní chyby. Je to první krok k sebeuvědomění, nebo jen dobře naprogramovaná iluze? Problém opět není ani tak technický, jako spíše koncepční: nemáme jasná kritéria, podle kterých bychom mohli rozhodnout, kde je hranice.
Starý sen o měření vědomí
Možná, že někdy vyvineme dostatečně úplnou a podrobnou teorii vědomí, abychom mohli s dostatečnou jistotou odvodit, co to je, a tedy jaké vlastnosti musí být přítomny, aby něco mohlo být považováno za vědomí. S těmito charakteristikami v ruce by to bylo stejně „snadné“ jako udělat seznam a zkontrolovat, zda je umělá inteligence splňuje. Bohužel k takovému seznamu máme ještě daleko a podle McClellanda toho firmy využívají. „Existuje riziko, že neschopnost testovat vědomí využije průmysl UI k extravagantním tvrzením o své technologii,“ říká lékař. „Stane se to součástí humbuku, aby společnosti mohly prodávat myšlenku nové úrovně inteligence umělé inteligence.“
Věda se však pokusila přijít s jakýmsi „teploměrem“ vědomí. V medicíně se k posouzení úrovně vědomí pacienta po úrazu používají stupnice, jako je Glasgowská škála. V neurovědách byly navrženy indexy založené na komplexnosti mozkové aktivity, které umožňují rozlišit hluboký spánek, anestezii a bdělost. Všechny tyto metody však vycházejí z obrovské výhody: víme, že máme co do činění s lidským mozkem, tedy se systémy, které za normálních podmínek již považujeme za vědomé. U umělé inteligence tuto oporu nemáme.
V roce 2023 zveřejnila skupina 19 vědců z univerzit, jako je Oxford, Harvard a MIT, zprávu, v níž navrhla „indikátory“ vědomí u pokročilých systémů UI: schopnost integrovat informace, udržovat stabilní vnitřní stavy, podávat souvislé zprávy o zážitcích atd. Samotná zpráva však trvá na tom, že žádný z těchto ukazatelů by nebyl definitivním důkazem. Jednalo by se nanejvýš o nepřímé indicie, které by mohly zvýšit nebo snížit naši důvěru, ale ne rozhodnout debatu.
Marketing, panika a citlivé toustovače
„Problém se stává konkrétnějším, když jsou lidé přesvědčeni, že mají vědomé stroje, které si zaslouží práva, která všichni ignorujeme,“ dodává, „a pokud náhodou vytvoříme vědomou nebo vnímající umělou inteligenci, měli bychom si dát pozor, abychom jí ‚neublížili‘. Ale chovat se k něčemu, co je vlastně toustovač, jako by bylo vědomé, když ve skutečnosti existují vědomé bytosti, kterým škodíme v epickém měřítku, se také zdá být velkou chybou.“
Srovnání s toustovačem není náhodné. Dějiny techniky jsou plné artefaktů, kterým přisuzujeme víc, než kolik jich je: auta s „charakterem“, mobily, které se „vztekají“, a počítače, které se „rozhodnou“, že se oběsí, právě když je nejvíc potřebujeme. S generativní umělou inteligencí tato tendence exploduje. Chatbot, který nám odpovídá empatickým tónem, pamatuje si detaily konverzace a omlouvá se, když udělá chybu, aktivuje všechny naše sociální reflexy. Naše mozky strávily miliony let zdokonalováním schopnosti rozpoznávat záměry u jiných lidí; nejsou připraveny na to, aby se vypořádaly se systémy, které tyto signály napodobují, aniž by za nimi něco stálo.
Společnosti to vědí. Není náhodou, že mnoho virtuálních asistentů má vlastní jméno, příjemný hlas a dokonce i krátký fiktivní životopis. Není také náhodou, že se o nich mluví jako o „spolupilotech“, „společnících“ nebo „agentech“ namísto „statistických programech pro automatické doplňování“. Čím lidštěji umělá inteligence působí, tím snadněji se prodává, tím více času s ní trávíme a tím více dat jí poskytujeme. A když se mimochodem naznačí, že je jen krůček od toho, aby byla „vědomá“, aura science fiction udělá zbytek.
Riziko, jak upozorňuje McClelland, je dvojí. Na jedné straně se může stát, že nakonec přiznáme morální práva systémům, které je nepotřebují, a odvedeme tak pozornost a zdroje od velmi reálných problémů: vykořisťování pracovní síly v řetězci výroby hardwaru, algoritmické předsudky, masové sledování, automatizované dezinformace… Na druhé straně bychom mohli udělat pravý opak: minimalizovat utrpení bytostí, které jsou vědomé (zvířata, lidé ve zranitelných situacích), zatímco se budeme bavit debatami o tom, zda je náš oblíbený chatbot „osamělý“.
A přestože starost o jeden etický problém neznamená přehlížení jiných, odborník využívá příležitosti, aby nám připomněl, že „rostoucí počet důkazů naznačuje, že krevety mohou být schopny utrpení, a přesto jich každý rok zabijeme přibližně půl miliardy. Testování vědomí u krevet je obtížné, ale zdaleka ne tak obtížné jako testování vědomí u umělé inteligence„. McClelland proto navrhuje zachovat zdravý agnostický postoj. Možná se stanou skutečně vědomými, nebo to budou schopny pouze simulovat, ale to se možná nikdy nedozvíme. Do té doby budeme muset pokračovat ve studiu podstaty vědomí, opatrně legislativně upravovat způsob používání umělé inteligence, a když už budeme v tom, tak se imunizovat proti marketingovým strategiím průmyslu.
Moudrý agnosticismus: Život s pochybnostmi
Agnosticismus, který McClelland obhajuje, neshrnuje tvrzení „nevím a je mi to jedno„, ale je to něco nepříjemnějšího: nevíme, možná to nikdy nebudeme vědět úplně, a přesto se musíme rozhodovat. Tvorba zákonů, podepisování smluv, vzdělávání dětí, investování veřejných peněz – to vše se již děje ve světě, kde se umělá inteligence podílí na lékařských, soudních nebo finančních rozhodnutích. Rozumný agnostický postoj by se dal shrnout do tří praktických myšlenek:
- Neantropomorfizujte standardně: Považujte systémy umělé inteligence za vysoce sofistikované nástroje, nikoli za morální subjekty, pokud nemáme opravdu pádné důvody změnit názor.
- Připravit si morální „plán B“: Pokud jednoho dne nashromáždíme pádné důkazy o tom, že by určité systémy mohly být vnímavé, mít již nastíněné etické a právní rámce na jejich ochranu, podobně jako dnes diskutujeme o právech zvířat.
- Stanovte priority prokázaných škod: Zaměřte regulaci a dohled na dopady, které již můžeme měřit (nerovnost, manipulace, bezpečnostní rizika), aniž byste ztráceli ze zřetele filozofické debaty, ale nenechali se rozptylovat marketingovým ohňostrojem.
Mezitím pokračuje výzkum lidského vědomí: od experimentů s anestézií a spánkem až po studie s pacienty ve vegetativním stavu nebo s poruchami vnímání. Každý malý průlom nám připomíná něco nepříjemného: plně nerozumíme ani svému vlastnímu vědomí. Předstírat, že vědomí strojů vyřešíme tiskovou zprávou, je přinejmenším optimistické.