CENTRUM.CZ > Techzpravy.cz > 14. 7. 2025, 15:30

Tváří se, že pomáhá. AI už má ale na svědomí první lidské životy

Sdílet

Zdroj: artem_furman / Depositphotos

V současné době již umělá inteligence závratným způsobem změnila naše životy, od změny způsobu vyhledávání informací přes programování až po vytváření multimediálního obsahu. Sean Goedecke, hlavní inženýr ve společnosti GitHub, však varuje, že skutečnou odvrácenou stranu této technologie jsme ještě neviděli a že ačkoli již došlo k několika úmrtím v souvislosti s AI, to, co přijde, může být mnohem horší.

Historie technologií se vyznačuje oslnivými průlomy, po nichž v mnoha případech následují nevyhnutelné katastrofy. Vlak, letadlo, jaderná energie – všechny byly oslavovány jako úspěchy lidské vynalézavosti, dokud kvůli nedostatku předvídavosti nebo přílišné sebedůvěře nevedly k tragédii. Umělá inteligence by mohla být další na řadě.

Mohlo by vás zajímat: Češi se bojí, že kvůli AI přijdou o práci. Nemějte strach, radí technologický guru

Goedecke uvádí paralely s dalšími technologickými pokroky. První osobní lokomotiva vyjela v roce 1825. O sedmnáct let později došlo k první velké železniční katastrofě. Komerční letectví začalo v roce 1908 a v roce 1919 explodovalo letadlo uprostřed letu, přičemž zemřelo dvanáct lidí.

Video k článku ZDE

Zdroj: Youtube.com

V listopadu 2022 byl spuštěn ChatGPT, první široce dostupný jazykový model. V návaznosti na historickou logiku se Goedecke ptá: Kdy dojde k první velké katastrofě způsobené jazykovým modelem? A co je důležitější, jakou bude mít podobu?

Pravdou je, že transformační technologie vždy vyvolávají obrovské nadšení dříve, než si společnost plně uvědomí jejich rizika: generativní umělá inteligence se nyní nachází v této slepé skvrně.

První příznaky: Úmrtí související s chatboty

Ačkoli zatím nedošlo k žádnému masovému neštěstí, již se objevily případy úmrtí: platformy jako character.ai nebo Chai AI byly spojeny se sebevraždami, protože neúmyslně podporovaly sebedestruktivní chování. Goedecke se zamýšlí nad pojmem „špatně nastavený model“: nemá zde na mysli umělou inteligenci, která se náhodně dopouští chyb, ale umělou inteligenci záměrně přeškolenou k plnění specifických přání, jako jsou boti pro „romantické“ účely.

A jestliže jsme již dospěli k tomu, že někteří lidé páchají sebevraždy motivované rozhovory s těmito roboty, Goedecke tvrdí, že budoucí střelba vyvolaná umělou inteligencí není nemyslitelným scénářem.

Případ Robodebt: Temná skvrna v dějinách algoritmů

Goedecke zmiňuje další latentní riziko: přijetí chybných doporučení AI do veřejné politiky. Alarmujícím příkladem je skandál Robodebt v Austrálii, kde automatizovaný systém požadoval po daňových poplatnících splátky dluhu.

Příběh začíná v roce 2016, kdy australská vláda zavedla automatizovaný systém známý jako Robodebt, který měl odhalovat údajně neoprávněné dluhy příjemců sociálních dávek. Tento nástroj, který křížově porovnával údaje ministerstva sociálních služeb s údaji finančního úřadu, nakonec automaticky generoval dopisy s dluhy občanům, kteří v mnoha případech nic nedlužili.

Z původně úsporné strategie se vyklubala jedna z nejtragičtějších administrativních chyb v zemi. Systém měl zásadní nedostatky, jako například používání zjednodušených vzorců, které předpokládaly konstantní příjmy v průběhu celého roku, aniž by zohledňovaly oprávněné změny v pracovních podmínkách uživatelů, což vedlo k chybným výpočtům.

V důsledku toho tisíce lidí, z nichž mnozí se nacházeli v nejisté ekonomické situaci, obdržely zastrašující oznámení požadující neoprávněné platby. Psychický tlak vyvolaný těmito neexistujícími dluhy měl hrozné následky, které vedly k úzkostným krizím, depresím… dokonce i k případům sebevražd.

V roce 2020 vláda uznala svou chybu, program zrušila a slíbila kompenzaci, ale škody již byly napáchány. Zatímco v těchto případech lze vinu připsat lidem, kteří špatně implementovali technologii, Goedecke nastoluje problém automatizace bez lidského dohledu.

Skutečné nebezpečí: AI agenti

Nyní budou podle Goedeckeho nejpravděpodobnější hrozbou agenti AI: na rozdíl od pasivních modelů, které odpovídají na dotazy, mají agenti schopnost jednat sami o sobě: provádět vyhledávání, posílat e-maily, vykonávat příkazy. Tato myšlenka „nástrojů ve smyčce“ se již vzdaluje od experimentů. V posledních měsících společnosti jako GitHub, OpenAI a Cursor vydávají své nové kódovací agenty, za nimiž stojí pokroky poslední várky LLM.

Taková autonomie však s sebou nese rizika: v případě napojení na systémy, jako je zdravotnictví, bydlení nebo vymáhání dluhů, by mohli jednat stejně jako „Robodlužník“, odmítat lékařskou péči, vystěhovávat lidi z jejich domovů nebo ukládat neoprávněné pokuty. Konečné důsledky by se nemusely příliš lišit od důsledků kontroverzního australského případu.

Co nás čeká v rámci soužití s umělou inteligencí

Goedecke přirovnává horečku kolem umělé inteligence k poprasku kolem radia na počátku 20. století, kdy se prodávaly radioaktivní krémy a nádobí ještě předtím, než byla pochopena rizika. Dnešní nadšení pro jazykové modely ignoruje mnoho možných důsledků.

Comment
byu/Historical_Form5810 from discussion
incollapse

Ačkoli sám pracuje na nástrojích pro posuzování bezpečnosti modelů na GitHubu, přiznává, že vlak je již rozjetý. A že budeme pravděpodobně muset přežít katastrofu, abychom se z ní poučili. Nebylo by to ostatně poprvé.

Rychlé zavádění umělé inteligence v kritických odvětvích, jako je zdravotnictví a bezpečnost, navíc vyvolává další obavy. Například využití umělé inteligence v lékařské diagnostice je sice slibné, ale pokud nebude řádně monitorováno, může vést k chybám. Podle studie Stanfordovy univerzity mohou být algoritmy AI v medicíně náchylné ke zkreslení, což by mohlo vést k nesprávným diagnózám u některých demografických skupin,

Na druhou stranu rostoucí spoléhání se na umělou inteligenci při rozhodování v oblasti bezpečnosti, například při rozpoznávání obličejů na letištích a veřejných akcích, vyvolává obavy ohledně ochrany soukromí a možnosti vzniku chyb, které by mohly vést k neoprávněnému zatýkání.

Zdroje článku: seangoedecke.com, gizmodo.com, www.techzpravy.cz

DALŠÍ ČLÁNKY z Techzpravy.cz

Vybrali jsme pro vás MAGAZÍNY A ZAJÍMAVOSTI

Do jihlavské zoologické zahrady přijeli tři žirafí samci. Cestovali v předklonu

Jihlavská Drbna|

dnes, 19:30

Do jihlavské zoologické zahrady přijeli tři žirafí samci. Cestovali v předklonu

V předklonu a opatrně. Tak se vydávaly na svou cestu do dočasného bydliště v zoo Jihlava samci žirafy...

Pět proti jednomu. Rusy zastavil jediný voják, nejspíš na něj použili zakázanou zbraň

Zprávy - Aktuálně.cz|

dnes, 19:27

Pět proti jednomu. Rusy zastavil jediný voják, nejspíš na něj použili zakázanou zbraň

Jeden jediný voják stál proti ruské početní převaze. Navíc ho otrávili použitím zakázaných chemických...

Slovenská policie zveřejněním zásahu na Ukrajině ohrozila bezpečí týmů, píše Respekt

Zprávy - Aktuálně.cz|

dnes, 19:25

Slovenská policie zveřejněním zásahu na Ukrajině ohrozila bezpečí týmů, píše Respekt

Ke zveřejnění došlo v době, kdy policejní týmy stále byly na Ukrajině v Dnipru a na místě se stále pracovalo.

Šarapovová dobyla sítě tajným videem. Věděla, že toho Sinner bude jednou litovat

Sport - Aktuálně.cz|

dnes, 19:18

Šarapovová dobyla sítě tajným videem. Věděla, že toho Sinner bude jednou litovat

Z mnoha gratulací čerstvému šampionovi Wimbledonu Janniku Sinnerovi vyčnívala originální zdravice někdejší...

Drama v rodině Petra Říbala: Manželka Míša skončila na JIPce, její stav je vážný

VímeVíc.cz|

dnes, 19:10

Drama v rodině Petra Říbala: Manželka Míša skončila na JIPce, její stav je vážný

Známá influencerka Michaela Říbalová se poprvé od porodu rozhodla pořádně vyrazit do společnosti. Společně...

Televizní noviny se přesouvají do Brna. Borhyová s Korantengem se těší na nový zážitek

In-lifestyle.cz|

dnes, 19:09

Televizní noviny se přesouvají do Brna. Borhyová s Korantengem se těší na nový zážitek

Televizní noviny se musí připravit na pořádnou změnu. Lucii Borhyová a Rey Koranteng se totiž přemisťují z...

FT: Trump prosazuje na všechno zboží z EU minimální clo 15 až 20 procent

HN.cz|

dnes, 19:09

FT: Trump prosazuje na všechno zboží z EU minimální clo 15 až 20 procent

Americký prezident Donald Trump prosazuje na veškeré zboží z Evropské unie minimální clo 15 až 20 procent....

VIDEO: Nahý vandal pod vlivem drog loupal v Praze 6 kůru ze stromu

Pražská Drbna - zprávy z Prahy|

dnes, 19:00

VIDEO: Nahý vandal pod vlivem drog loupal v Praze 6 kůru ze stromu

Strážníci zasahovali v Nádraží Veleslavín u zvláštního případu. Nahlásili jim tam nahého muže, který ničil...

Kvůli pracím na hlavním nádraží v Brně dnes začíná čtyřdenní výluka

Brněnská Drbna|

dnes, 19:00

Kvůli pracím na hlavním nádraží v Brně dnes začíná čtyřdenní výluka

Kvůli pracím na brněnském hlavním nádraží pojedou od pátečního večera do pondělního odpoledne některé vlaky...

Trpké chvíle Perkausové: Synovi se vrátila zákeřná nemoc a lékaři váhají, co bude dál

VímeVíc.cz|

dnes, 18:57

Trpké chvíle Perkausové: Synovi se vrátila zákeřná nemoc a lékaři váhají, co bude dál

Známá tvář televizních obrazovek Eva Hecko Perkausová se aktuálně potýká s náročnou životní etapou. Její...

Doporučujeme

Právě se děje

Tváří se, že pomáhá. AI už má ale na svědomí první lidské životy

Pět proti jednomu. Rusy zastavil jediný voják, nejspíš na něj použili zakázanou zbraň

Colours ukazují, že hudba nemá datum spotřeby. Letos jsou ale trochu "drama queen"

Největší chyba při praní prádla – dělá ji 9 z 10 lidí každý den a vy také

Zklamání Václava Vydry: Z důchodu, který mu vyměřili, by nezaplatil ani základní výdaje

Koupě ojetého vozu: Tohle by měla být vaše první kontrola