Chyba v chatbotovi společnosti Lenovo umožňuje jediným dotazem spustit škodlivý kód, a odhalit tak citlivé firemní údaje.
Díky rozvoji umělé inteligence v posledních letech se chatboti (s umělou inteligencí) stali základním nástrojem pro obsluhu zákazníků. A přestože mohou usnadnit některé úkoly, v některých případech se mohou stát bezpečnostním rizikem, pokud nejsou pečlivě spravovány.
Nejnovější případ se týká virtuálního asistenta Lena, kterého používá společnost Lenovo na svých webových stránkách, a který byl prolomen bezpečnostními výzkumníky, kteří ukázali, jak se může jedinou dobře navrženou výzvou stát vstupní branou pro útočníky.
Jednoduchý požadavek, obrovský problém
Díky zprávě, kterou sdílel tým Cybernews, bylo zjištěno, že pouhý pokyn o 400 slovech stačil k manipulaci s Lenovem a donutil jej generovat odpovědi HTML se skrytým kódem. Za neškodným vzhledem se skrýval mechanismus pro krádež souborů cookie relace agentů lidské podpory, tj. aktivních pověření, která jim umožňují převzít kontrolu nad jejich účty.
Attackers can run malicious code and steal cookies
byu/Cybernews_com inCyberNews
Postup je stejně znepokojivý jako jednoduchý: chatbot přijímal nefiltrované příkazy, do konverzace vložil škodlivý kód, a když agent otevřel historii, jeho prohlížeč provedl instrukci a odeslal data na server ovládaný výzkumníky.
Stejnou metodou mohli útočníci v reálném scénáři získat přístup k citlivým informacím o zákaznících, probíhajícím chatům a dokonce se pohybovat v dalších interních systémech společnosti.
Poslušní chatboti bez bezpečnostního instinktu
Odborníci vysvětlují, že problém spočívá v povaze jazykových modelů, protože jsou navrženy tak, aby vyhovovaly požadavkům uživatelů, nikoli aby je zpochybňovaly. Při absenci technických ověřovacích bariér chatbot nerozlišuje mezi legitimním dotazem a pokusem o útok.
V tomto konkrétním případě zranitelnost souvisí se základními postupy, které nebyly správně aplikovány: absence vstupních a výstupních filtrů, nedostatečné ověření na straně serveru, spuštění neplatného kódu a nekontrolované načítání externích zdrojů.
Nejvíce znepokojující na tom je, že se v budoucnu pravděpodobně dočkáme dalších chatbotů, které budou trpět podobnými zranitelnostmi, zejména s ohledem na to, že malware lze pomocí umělé inteligence vytvořit během několika hodin.
Vyjádření společnosti Lenovo
Společnost Lenovo po obdržení oznámení prohlásila, že její systémy již byly chráněny, ačkoli neupřesnila, jakým způsobem se tak stalo. Pro výzkumníky to představuje „vážné selhání transparentnosti„, protože zranitelnost může mít ještě širší důsledky.
Závěr je zcela jasný: společnosti, které začleňují chatboty, musí vycházet z předpokladu, že všechny příchozí a odchozí zprávy jsou potenciálně nebezpečné. Přijetí přístupu „nikdy nedůvěřuj, vždy ověřuj“ není volbou, ale nutností v prostředí, kde se umělá inteligence rozšiřuje rychleji než bezpečnostní opatření.
Jak těmto zranitelnostem v budoucnu předcházet
Aby se podobné situace neopakovaly, musí společnosti zavést řadu důsledných bezpečnostních opatření. Především je nezbytné zavést příchozí a odchozí filtry, které odhalí a zablokují jakýkoli pokus o vložení škodlivého kódu. Kromě toho může průběžné ověřování interakcí s chatboty pomoci identifikovat anomální chování, které by mohlo naznačovat pokus o útok.
Dalším důležitým aspektem je školení zaměstnanců, kteří s těmito systémy komunikují. Pracovníci podpory musí být vyškoleni, aby rozpoznali příznaky podezřelé aktivity a věděli, jak vhodně reagovat. Kromě toho by společnosti měly udržovat své systémy v aktuálním stavu s nejnovějšími bezpečnostními záplatami a provádět pravidelné bezpečnostní audity, aby identifikovaly a opravily potenciální zranitelnosti.

Zdroj: Youtube.com
V neposlední řadě je nezbytné, aby společnosti transparentně informovaly o bezpečnostních opatřeních, která zavádějí. To nejen pomáhá budovat důvěru mezi uživateli, ale také umožňuje bezpečnostní komunitě spolupracovat při identifikaci a řešení potenciálních problémů.
Chatboti sice nabízejí velké výhody, pokud jde o efektivitu a služby zákazníkům, je však velmi důležité, aby podniky braly vážně bezpečnostní hrozby, které mohou vzniknout. Pouze proaktivním přístupem a spoluprací bude možné zajistit, aby tyto nástroje byly bezpečné a chráněné pro všechny uživatele.