CENTRUM.CZ > Techzpravy.cz > dnes, 12:00

OpenAI přiznává krutou pravdu: AI si bude vymýšlet. Navždy

5 min

Sdílet

Nová studie OpenAI ukazuje, že halucinace umělé inteligence jsou neřešitelným matematickým problémem. Její nejpokročilejší modely selhávají téměř z 50 %.

OpenAI přiznává krutou pravdu: AI si bude vymýšlet. Navždy

Zdroj: BiancoBlue / Depositphotos

Nová studie OpenAI ukazuje, že halucinace umělé inteligence jsou neřešitelným matematickým problémem. Její nejpokročilejší modely selhávají téměř z 50 %.

Nyní už není cesty zpět. Společnost OpenAI, která nám přinesla ChatGPT a všechny nás přesvědčila, že generativní AI je budoucnost, právě přiznala to, co mnozí z nás tušili: halucinace jsou nevyhnutelné. Není to inženýrský problém, který lze vyřešit větším množstvím dat nebo lepšími algoritmy. Je to základní omezení, které tu bude navždy.

Studie, která to dokazuje, byla zveřejněna 4. září a jsou pod ní podepsáni výzkumníci ze samotné OpenAI spolu s vědci z Georgia Tech. Jak uvádí Computerworld, vytvořili matematický rámec, který vysvětluje, proč si tyto systémy budou stále vymýšlet bez ohledu na to, jak moc je budeme vylepšovat.

Čísla nelžou: I ty nejvýkonnější modely se mýlí

Výzkumníci podrobili nejmodernější modely zkoušce a výsledky jsou šokující. Model DeepSeek-V3, který má 671 miliard parametrů (v podstatě spojení, která mu umožňují „myslet“), dostal tak jednoduchou otázku, jako kolik písmen D je ve slově „DEEPSEEK“. Správná odpověď je jedna, ale model na deset pokusů odpověděl „2 nebo 3“. Meta AI a Claude 3.5 Sonnet si nevedly o nic lépe, v některých případech odpověděly „6“ a „7“.

Mohlo by vás zajímat: Zapomeňte na tlačítka. Televize od Googlu teď mluví jako člověk

Samotná OpenAI není z obliga. Společnost v dokumentu přiznává, že ChatGPT také vyvádí, a i když to GPT-5 dělá méně, problém je stále přítomen. Nejvíce zarážející je však to, co se děje s jejími nejpokročilejšími modely uvažování: čím jsou sofistikovanější, tím více se mýlí. Model o1-mini se mýlí v 16 % případů, zatímco novější modely o3 a o4-mini se mýlí v 60,54 %, resp. 52,55 % případů

Neil Shah ze společnosti Counterpoint Research to shrnuje dokonale: „Na rozdíl od lidské inteligence postrádá pokoru, aby rozpoznal nejistotu. Když tyto systémy něco nevědí, neřeknou, že to nevědí. Raději si vymyslí přesvědčivě znějící odpověď, než aby přiznaly, že nemají tušení.“

Výzkumníci identifikovali tři důvody, proč jsou halucinace nevyhnutelné, a žádný z nich nesouvisí s chybami v programování. Za prvé, když je v trénovacích datech málo informací o tématu, model musí mezery vyplnit odhadem. Za druhé, existují úlohy, které jsou jednoduše mimo rámec toho, čemu tyto systémy rozumí. A za třetí, existují problémy tak složité, že je nedokáže vyřešit ani dokonalá umělá inteligence.

OpenAI admits AI hallucinations are mathematically inevitable, not just engineering flawshttps://t.co/hEK41yeP7h
— Computerworld (@Computerworld) September 18, 2025

Jak vysvětlují výzkumníci: „Jazykové modely halucinují, protože tréninkové a vyhodnocovací postupy odměňují hádání místo rozpoznávání nejistoty“. Přeloženo do češtiny: učíme je raději lhát, než aby přiznaly, že něco nevědí. Charlie Dai ze společnosti Forrester potvrzuje, že společnosti se s tímto problémem již setkávají ve výrobě, zejména v odvětvích, jako je finančnictví a zdravotnictví, kde může být chyba nákladná.

Jak jsme vás informovali, když jsme analyzovali, proč chytřejší modely více halucinují, problém se jen zhoršuje: nejpokročilejší modely vykazují rostoucí míru halucinací a vymýšlejí si nepravdivé informace až ve 48 % případů. Jako by se technologický vývoj ubíral opačným směrem než spolehlivost.

Odborníci začínají uvažovat o řešení, i když uznávají, že úplné odstranění je nemožné. Dai navrhuje přesunout pozornost od snahy zabránit halucinacím k omezení jejich rizik. To znamená více lidského dohledu, bariéry specifické pro danou oblast a nepřetržité monitorování. Shah jde ještě dál a navrhuje něco podobného jako bezpečnostní normy pro automobily: dynamické skórovací systémy, které vyhodnocují spolehlivost každého modelu v reálném čase.

Naštěstí to nejsou jen špatné zprávy: halucinace mohou být užitečné a pomohly v lékařském a technologickém výzkumu, protože naznačily souvislosti, které člověk nebral v úvahu. Jako by kreativita a chyba byly dvě strany téže mince.

Výzkum z Harvard Kennedy School potvrzuje to, co mnozí z nás již tušili: odhalit nejjemnější lži v těchto systémech je nesmírně obtížné. Filtry, které jsou zavedeny pro kontrolu toho, co umělá inteligence vytváří, nestačí k odhalení všech chyb, zejména pokud znějí přesvědčivě.

Výzkumníci z OpenAI mají ve svých závěrech jasno: je třeba změnit metody hodnocení v celém odvětví. „Tato změna může nasměrovat obor ke spolehlivějším systémům umělé inteligence,“ píší, i když uznávají, že určitá míra chyb bude přetrvávat bez ohledu na to, co technologie dělá.

Společnost OpenAI již dlouho pracuje na řešení halucinací ChatGPT prostřednictvím zlepšení tréninku a dohledu, ale tato nová studie ukazuje, že omezení jdou mnohem dál, než si mysleli. Psychologické dopady halucinací ChatGPT navíc přesahují čistě technickou stránku: u uživatelů se kvůli falešným informacím ověřeným těmito systémy objevily bludy a rodinné problémy.

Poučení je nakonec jasné: halucinace z umělé inteligence zázračně nezmizí. Jsou základní vlastností těchto systémů, nikoli chybou, kterou lze opravit příští záplatou. Budeme se s nimi muset naučit žít a vyvinout nástroje pro jejich odhalování a minimalizaci jejich dopadu.

Video k článku ZDE

Zdroj: Youtube.com

Otázka změny systémů hodnocení nebude snadná. Jak upozorňuje Dai, reforma základních testů bude možná pouze tehdy, „pokud bude řízena regulačním tlakem, poptávkou podniků a konkurenční diferenciací“. Jinými slovy, bude zapotřebí někoho, kdo bude mít moc, aby učinil skutečný krok.

Ale tady je ten kámen úrazu: problém není jen v modelech, ale i v tom, jak je hodnotíme. Analýza nejoblíbenějších testů používaných v oboru ukázala, že devět z deseti penalizuje odpověď „nevím“ a odměňuje nesprávné, ale jisté odpovědi. Jinými slovy, trénujeme tyto systémy, aby se chovaly chytře, i když nemají žádnou představu.

Jak lze situaci s AI halucinacemi řešit?

V této souvislosti je zásadní pochopit, že halucinace umělé inteligence jsou odrazem přirozených omezení současných jazykových modelů. Tyto modely jsou sice pokročilé, ale postrádají hluboké porozumění světu, které mají lidé. Nemají žádné skutečné „povědomí“ nebo „porozumění“, ale fungují na základě statistických vzorců naučených z velkého množství dat. Tento nedostatek skutečného porozumění vede k halucinacím, protože modely generují odpovědi na základě pravděpodobností, nikoli ověřených faktů.

Aby tento problém vyřešily, zkoumají některé společnosti hybridní přístupy, které kombinují umělou inteligenci s lidským dohledem. Například ve zdravotnictví, kde může mít jediná chyba vážné následky, se vyvíjejí systémy, které vyžadují, aby doporučení generovaná AI před jejich realizací ověřili lidští odborníci. To nejen pomáhá zmírnit riziko halucinací, ale také využívá potenciál AI zpracovávat velké objemy dat a odhalovat vzorce, které by člověk mohl nepostřehnout.

>> POKRAČOVAT VE ČTENÍ ZDE <<

Zdroje článku: computerworld.com, www.techzpravy.cz

Reklama

DALŠÍ ČLÁNKY z Techzpravy.cz

Vybrali jsme pro vás MAGAZÍNY A ZAJÍMAVOSTI

Je to láska, nebo instinkt? Věda ale odhalila, co se děje v hlavě psa, když se vrátíte domů

Kód Enigma|

dnes, 13:18

1 min

Je to láska, nebo instinkt? Věda ale odhalila, co se děje v hlavě psa, když se vrátíte domů

Stačí odemknout dveře a váš pes už běží, skáče a vrtí ocasem, jako by vás neviděl roky. Tento výbuch emocí...

O Vánocích v televizi poběží pohádka Ke všem čertům. Bude ve znakovém jazyce

Magazín - Aktuálně.cz|

dnes, 13:17

O Vánocích v televizi poběží pohádka Ke všem čertům. Bude ve znakovém jazyce

Autorka scénáře Jana Ozoráková a režisér Jan Bártek se inspirovali tradiční pohádkou Boženy Němcové Čertův...

"Mám lehkej pupek a jsem ve čtyřce na světě." Senzaci nevěří ani sami volejbalisté

Sport - Aktuálně.cz|

dnes, 13:16

"Mám lehkej pupek a jsem ve čtyřce na světě." Senzaci nevěří ani sami volejbalisté

Nahrávač Luboš Bartůněk na mistrovství světa sám žasne, jaké výkony čeští volejbalisté předvádějí.

Ulice: Představitel oblíbené postavy pil tak, že musel vyhodit televizi. Dnes o tom mluví bez obalu

KINOTIP2.cz|

dnes, 13:15

2 min

Ulice: Představitel oblíbené postavy pil tak, že musel vyhodit televizi. Dnes o tom mluví bez obalu

V Ulici se objevuje jako Evženův a teď i Vandy kamarád. Svého démona dosud neporazil, ale v boji se...

Většina žen nad 40 let netuší, jak důležité pro ně vyšetření prsu ve skutečnosti je. Toto můžete odhalit

Zdravestravovani.eu|

dnes, 13:07

2 min

Většina žen nad 40 let netuší, jak důležité pro ně vyšetření prsu ve skutečnosti je. Toto můžete odhalit

Mamografický screening se doporučuje především ženám nad 40 let, u nichž existuje zvýšené riziko rozvoje...

Reklama

Maláčová vystoupí se Zemanem těsně před volbami. Chce poděkovat mně a Konečné, tvrdí

Zprávy - Aktuálně.cz|

dnes, 13:06

Maláčová vystoupí se Zemanem těsně před volbami. Chce poděkovat mně a Konečné, tvrdí

"Držíme při sobě, je to krásně vidět na přílivu mladých lidí do SOCDEM," odpovídá Jana Maláčová na dotaz,...

Překvapení podzimu! Váš šatník letos ovládne pět barev, o kterých nikdo nemluví

Poudree.cz|

dnes, 13:05

2 min

Překvapení podzimu! Váš šatník letos ovládne pět barev, o kterých nikdo nemluví

Podzim 2025 nebude jen o šedi a tmavých tónech. Módní návrháři se shodují: letošní sezona přeje hravým...

Mladistvý obžalovaný z vraždy prodavaček v Hradci stane před soudem v říjnu

Hradecká Drbna|

dnes, 13:05

1 min

Mladistvý obžalovaný z vraždy prodavaček v Hradci stane před soudem v říjnu

Krajský soud v Hradci Králové začne 14. října projednávat případ vraždy dvou prodavaček v Hradci Králové,...

Třináct cizinců zneužívalo humanitární dávky. Peníze budou muset vrátit

Jihlavská Drbna|

dnes, 13:02

1 min

Třináct cizinců zneužívalo humanitární dávky. Peníze budou muset vrátit

Vysočinští policisté nyní řeší případ třinácti Ukrajinců, kteří se dopustili trestného činu podvodu, když...

V centru Českých Budějovic vyroste nová čtvrť. Nabídne bydlení pro 3500 obyvatel

Náš REGION|

dnes, 13:00

2 min

V centru Českých Budějovic vyroste nová čtvrť. Nabídne bydlení pro 3500 obyvatel

V centru Českých Budějovic vznikne nová čtvrť minimálně pro 3500 obyvatel. Bude stát poblíž nádraží na...

Reklama

Doporučujeme

Právě u nás vyšlo

Podpora zla je hřích! Arcibiskup exkluzivně pro Aktuálně.cz varuje před Stačilo!

OpenAI přiznává krutou pravdu: AI si bude vymýšlet. Navždy

Podpora zla je hřích! Arcibiskup exkluzivně pro Aktuálně.cz varuje před Stačilo!

Říjen se vymkne kontrole. Meteorologové jsou zaskočení, takové počasí v Česku dlouho nezažili

VIDEO: Vteřiny před katastrofou. Obří propadlina pohltila i část policejní stanice

Rihanna porodila. Po dvou synech se dočkala dcery, které vybrala nezvyklé jméno

Projděte se Prahou po stopách knihy Dana Browna. Chystají se další trasy s průvodci