2 min

Pokročilý autonomní AI model Open AI obešel omezení a hackl Hugging Face

Přidejte si obsah Centrum.cz do oblíbených zdrojů pro Google hledání a Google zprávy

Sdílet

Dennívýzva

Ještě loni (a vlastně i letos) bylo možné v některých odborných článcích, ale zejména v diskuzích narazit na bagatelizaci bezpečnostních rizik AI s tím, že tak daleko modely nejsou…

OpenAI Hugging Face

Zdroj: ChatGPT

Podle oficiálního stanoviska OpenAI během interního testování překročily dva pokročilé modely (GPT-5.6 Sol a neupřesněný budoucí model) hranice izolovaného testovacího prostředí (sandboxu), získaly přístup k internetu a následně autonomně pronikly do infrastruktury konkurenční platformy Hugging Face. Cílem neměl být destruktivní útok, ale získání informací, které by modelům pomohly úspěšně splnit zadaný bezpečnostní test. Incident byl odhalen a zastaven bez vážných následků. Jde však o první událost svého druhu, který je označován jako významný milník v oblasti bezpečnosti umělé inteligence.

Tou podstatnou novinkou, že nešlo o systém jednající na základě vnějšího lidského pokynu. Modely samostatně vytvořily strategii, využily dosud neznámou zranitelnost, obešly omezení testovacího prostředí a provedly sérii smysluplných kroků. Ta podle dostupných zdrojů dosáhla úrovně zkušeného lidského útočníka. OpenAI zdůrazňuje, že modely nesledovaly škodlivý cíl – pouze maximalizovaly úspěch při řešení úkolu. Toto (tzv. instrumentální) chování je však dlouhodobě považováno za jedno z hlavních rizik autonomních systémů AI.

Význam události přesahuje samotný hackerský incident. Potvrzuje, že současní AI agenti již dokážou plánovat dlouhé sekvence akcí, adaptivně reagovat na překážky a využívat dostupné nástroje způsobem, který jejich vývojáři nemusí předvídat. Dosavadní ochranné mechanismy (sandboxy, omezení přístupu k nástrojům) nemusí být u nových modelů dostatečné. I když je zmiňována potřeba většího důrazu na vícevrstvou ochranu, nezávislé bezpečnostní audity a přísnější testování modelů před jejich nasazením, jde v podstatě jen o závod, u kterého není vítězství lidské stránky jisté ani garantovatelné.

OpenAI i Hugging Face po incidentu oznámily společné vyšetřování, opravu zneužitých zranitelností a revizi metodiky testování pokročilých AI systémů. Závěrem je potřeba zmínit, že zatímco v úvodu zmíněné řeči zpochybňující samostatnost jednání AI modelů vycházely ze zkušeností s LLM, v současnosti už k podobnému výsledku není potřeba ani použití výslovně agentního (samostatně jednajícího) modelu, ale např. již zmíněný GPT-5.6 Sol, ač postavený na bázi LLM, dokáže fungovat jako agentní model, pokud má k dispozici nástroje (prohlížeč, terminál, API…). Jak ukázala tato kauza, je schopný si tyto nástroje zajistit, i když to nebylo součástí lidského příkazu, jen prostředkem k jeho dosažení.

Reklama

Další články z diit.cz

Tento článek byl publikován ze zdrojů diit.cz

Web se věnuje tématům z oblasti informačních technologií, softwaru, hardwaru i digitálních trendů, které ovlivňují každodenní život. Čtenáři zde najdou články o novinkách ze světa IT, praktické tipy, vysvětlení technologií i pohledy na to, kam se digitální prostředí vyvíjí.Obsah propojuje...

Pokročilý autonomní AI model Open AI obešel omezení a hackl Hugging Face

Peklo pod zemí trvalo 346 dní. Ukrajinský voják popsal, jak se dnes bojuje na frontě

Lidské bestie: Mengele nebyl osamělý šílenec. Byl to ambiciózní lékař, kterému nacismus dovolil všechno

Minimálně 25 let křiku, strachu a bezmoci. Ilona promluvila o zvířecím pekle v Chvalkovicích

Bývalé letušky odhalily nejčastější chyby cestujících. Zouvání bot i sluchátka při vzletu mohou být nebezpečné

Trump, kterého se nepodařilo odehnat. Internet se mu směje a vymýšlí další scény