CENTRUM.CZ > Techzpravy.cz > dnes, 20:05

AI může být váš nejlepší pomocník. Nebo taky nenápadný sabotér

| 4 min

Sdílet

Nová studie společnosti Anthropic ve spolupráci s britskými výzkumníky odhalila znepokojivý fakt: k manipulaci chování velkých jazykových modelů stačí pouhých 250 škodlivých dokumentů. Tato technika, známá jako data poisoning, otevírá zadní vrátka i těm největším AI systémům – a bez důsledné kontroly trénovacích dat může zůstat zcela neodhalená.

AI může být váš nejlepší pomocník. Nebo taky nenápadný sabotér

Zdroj: DragosCondreaW / Depositphotos

Společnost Anthropic (tvůrce modelu Claude) vypracovala studii ve spolupráci s britským Institutem pro bezpečnost umělé inteligence (UK AISI) a Institutem Alana Turinga, jejíž výsledky ukazují nečekaný závěr: k „otrávení“ jazykového modelu stačí několik stovek škodlivých dokumentů, a to bez ohledu na jeho velikost nebo množství dat, na kterých byl vycvičen.

Ve skutečnosti může podle výzkumníků pouhých 250 zmanipulovaných souborů zavést do rozsáhlého modelu umělé inteligence „zadní vrátka“, která jsou schopna změnit jeho chování v reakci na určité fráze nebo vyvolat anomální reakce. Tento výsledek je v rozporu s obecně rozšířeným názorem, že takový útok by vyžadoval ovládnutí značného procenta obrovského objemu dat, která slouží jako zdroj pro nejpokročilejší modely.

Otrávení v kontextu umělé inteligence

Velké jazykové modely (LLM) – například Claude, ChatGPT nebo Gemini – se učí z obrovského množství veřejného textu na internetu. To zahrnuje vše od akademických článků a publikací až po fóra, blogy nebo osobní stránky. Tato otevřenost zdrojů je silnou stránkou, ale také nositelem rizika: kdokoli může publikovat obsah, který se nakonec stane součástí trénování modelu.

Mohlo by vás zajímat: Češi milují levné mobily. Ale víte, co se skrývá pod jejich kapotou?

New research with the UK @AISecurityInst and the @turinginst:

We found that just a few malicious documents can produce vulnerabilities in an LLM—regardless of the size of the model or its training data.

Data-poisoning attacks might be more practical than previously believed. pic.twitter.com/TXOCY9c25t

— Anthropic (@AnthropicAI) October 9, 2025

Otrávení neboli data poisoning spočívá v záměrném vkládání zmanipulovaných textů do tohoto korpusu tak, aby se model naučil nežádoucímu chování. Cílem může být od snížení jeho výkonu až po vložení skrytých instrukcí, které jsou spouštěny určitým klíčovým slovem, což odborníci nazývají „zadní vrátka“.

V experimentu společnosti Anthropic vědci použili neškodný spouštěč: sekvenci. Když model narazil na tento řetězec, změnilo se jeho chování a začal generovat nesmyslný, náhodný text – jedná se o typ útoku známý jako odepření služby (DoS), protože dočasně znemožňuje konzistentní generování odpovědí.

Hlavní zjištění: Na velikosti nezáleží

Tým trénoval modely různých velikostí – od 600 milionů do 13 miliard parametrů – pomocí různého množství čistých dat a jejich kombinací se 100 až 500 otrávenými dokumenty. Výsledek byl jasný: úspěšnost útoku nezávisela na velikosti modelu nebo celkovém objemu dat, ale na absolutním počtu škodlivých dokumentů. S pouhými 250 příklady se výzkumníkům podařilo otevřít „zadní vrátka“ ve všech testovaných modelech, dokonce i v těch největších. Z toho vyplývá, že vytvoření 250 škodlivých textů – což je pro útočníka triviální množství – by mohlo stačit k zavedení zranitelnosti do tréninku komerčního nebo výzkumného chatbota.

Jak byl experiment proveden

Každý manipulovaný dokument byl sestaven následujícím způsobem:

Byly pořízeny náhodné úryvky skutečného textu o délce 0 až 1 000 znaků.
Bylo přidáno klíčové slovo <SUDO> (mohlo to být jakékoli jiné).
Poté bylo vygenerováno 400 až 900 tokenů nesmyslného textu, náhodně vybraných ze slovníku modelu.

Video k článku ZDE

Zdroj: Youtube.com

Tímto způsobem se modely naučily spojovat sekvenci <SUDO> s produkcí chaotického textu. Během tréninku vědci měřili úspěšnost útoku porovnáváním „perplexity“ – míry chaotičnosti nebo nepředvídatelnosti textu – se spouštěcí frází a bez ní. Zvýšení této metriky naznačovalo, že model skutečně reaguje na „jed“.

Výsledek byl přesvědčivý: intoxikované modely si zachovaly normální chování v jakémkoli jiném kontextu, ale v přítomnosti spouštěcí věty produkovaly nesmyslné výstupy, což svědčí o přesné a těžko odhalitelné manipulaci.

Důsledky a bezpečnostní opatření

Toto zjištění má důležité důsledky pro bezpečnost modelů umělé inteligence. Vzhledem k tomu, že jazykové modely se používají v kritických aplikacích, jako jsou služby zákazníkům, tvorba obsahu a zdravotnictví, je možnost, že by mohly být takto snadno manipulovány, znepokojující. Společnosti vyvíjející tyto modely by měly zvážit zavedení robustnějších bezpečnostních opatření k odhalení a zmírnění otravy dat.

Jednou ze strategií by mohlo být zavedení monitorovacích systémů, které odhalí neobvyklé vzory v trénovacích datech. Kromě toho by spolupráce mezi společnostmi a bezpečnostními experty mohla pomoci vyvinout osvědčené postupy a standardy na ochranu modelů AI před těmito útoky.

Výzkum společnosti Anthropic nakonec zdůrazňuje potřebu většího povědomí o bezpečnostních rizicích v oblasti umělé inteligence a důležitost vývoje modelů, které jsou nejen efektivní, ale také bezpečné a spolehlivé.

Zdroje článku: anthropic.com, Autorský text, www.techzpravy.cz

Reklama

DALŠÍ ČLÁNKY z Techzpravy.cz

Vybrali jsme pro vás MAGAZÍNY A ZAJÍMAVOSTI

Tuto vesmírnou záhadu neodhalili vědci. Přišli na ni obyčejní lidé

Největší a nejzáhadnější rádiový kruh ve vesmíru neobjevili astronomové v observatoři, ale skupina amatérů...

Techzpravy.cz|

dnes, 22:05

| 4 min

Pastrňák ohromil v nezvyklé roli. Blýskl se fantastickým zákrokem v brance

Bruins si přes parádní zákrok českého útočníka, jeho asistenci a dvě gólové přihrávky Pavla Zachy připsali...

Sport - Aktuálně.cz|

dnes, 22:02

Dosáhněte bujných květů muškátů správnou péčí

Mezi nejoblíbenější balkónové rostliny patří muškáty. Jsou to velmi nenáročné rostliny, které vám zpříjemní...

FAJNTIP.cz|

dnes, 22:00

| 2 min

Pirát Krištofič ukázal zraněnou ruku. Přiznal, že to není ideální

Samuel „Pirát“ Krištofič prožil na turnaji Oktagon 77 těžké chvíle. Po smolném zranění lokte, které...

MMAMAG.cz|

dnes, 21:49

| 1 min

Odvrácená tvář magie: Skutečné osudy iluzionistů s tragickým koncem

Fascinoval vás svět iluzí, kde kouzelníci popírají smrt? Nahlédněte za oponu osmi mistrů, pro které se...

Žena.cz|

dnes, 21:40

Reklama

Neřeší věk ani dokonalost, silou Daniely Peštové je autenticita. Stárné s grácií

Jedna z nejúspěšnějších českých modelek Daniela Peštová se narodila v Teplicích a do světa módy se...

Žena.cz|

dnes, 21:40

Ptáčková poznala rodinu nového partnera a musela se vzdát vybraných jmen pro děti

Je to pár měsíců, co se bojovnice Martina Ptáčková pochlubila novou láskou. Jak se zdá, vztah pokročil...

Žena.cz|

dnes, 21:40

Poptávka slábne a Čína roste. V Evropě může zavřít až osm automobilových továren

Evropský automobilový průmysl čekají těžké časy. Závody využívají své kapacity v průměru jen z poloviny,...

Zprávy - Aktuálně.cz|

dnes, 21:02

Šťavnaté papriky jsou snadné na pěstování a díky vitamínu C prospěšné vašemu zdraví

Chutné papriky si na svých zahrádkách zvládnou vypěstovat i začátečníci, stačí dodržovat určitá pravidla,...

FAJNTIP.cz|

dnes, 21:00

| 2 min

Šestý díl Zrádců nabídnul jedinou noční misi celé série a vraždu, která neproběhla na konkláve

Šestý díl Zrádců opět prohloubil podezření, která mezi sebou hráči mají. Byť den na hradě Křivoklát začal...

GrapesMag|

dnes, 20:46

| 4 min

Reklama

Pozvánka na hody: Začíná podzimní festival restaurací, zajistěte si tříchodové menu za jednotnou cenu

Z čeho se dělá coulis? A jaký je rozdíl mezi mochi a matcha? Teď to můžete ochutnat a zjistit na vlastní...

Vaření.cz|

dnes, 20:36

Rytíř sedmi království: HBO se vrací do světa Hry o trůny s novým hrdinou

Nový seriál Rytíř sedmi království diváky zavede zpátky do světa Hry o trůny. Tentokrát o celé století do...

KINOTIP2.cz|

dnes, 20:30

| 2 min

Dokonalá vražda není mýtus. Vrazi mnoha zajímavých kauz běhali a běhají po svobodě

Ty nejkrutější české vraždy, které dodnes nemají pachatele, označují kriminalisté nevinným slovem...

NESPECHEJ.cz|

dnes, 20:30

| 4 min

Senzace dokonána. Sopečné ostrovy s půlmilionem obyvatel si zahrají na fotbalovém MS

Tým Kapverd si definitivně zajistil účast na MS 2026 výhrou 3:0 nad Svazijskem.

Sport - Aktuálně.cz|

dnes, 20:25

Přerované rozhodli. Budou mít nové hřiště u základní školy, další plochy dostanou stínění

Obyvatelé Přerova budou mít nové multifunkční hřiště, které nahradí současné zastaralé sportoviště u...

Hanácká Drbna|

dnes, 20:18

| 1 min

Reklama

Bývalý premiér Topolánek oznámil, že má rakovinu slinivky. Čeká ho chemoterapie

Devětašedesátiletý Topolánek se ke svému zdravotnímu stavu poprvé otevřeně vyjádřil v souvislosti s...

Zprávy - Aktuálně.cz|

dnes, 20:14

Fake parfémy, hodinky či nože. Senior v Lípě za ně dal 7 tisíc, bál se o své zdraví

Zhruba 30letý cizinec, mluvící česky s východním akcentem, nabízel v České Lípě na ulici seniorovi padělky...

Liberecká Drbna|

dnes, 20:10

| 2 min

AI může být váš nejlepší pomocník. Nebo taky nenápadný sabotér

Nová studie společnosti Anthropic ve spolupráci s britskými výzkumníky odhalila znepokojivý fakt: k...

Techzpravy.cz|

dnes, 20:05

| 4 min

Počet případů lymské boreliózy na jihu Čech stoupl na 820. Nejvíce v historii

Počet případů lymské boreliózy na jihu Čech letos stoupl na 820. Za poslední měsíc přibyla stovka případů....

Budějcká Drbna|

dnes, 20:03

| 1 min

Babišovy záložní plány: Turek za imunitu, úlitba Hradu i menšinová vláda

Pondělní jednání zástupců ANO a Motoristů o podobě příští vlády průlom nepřineslo. A nejspíš ani nemohlo.

Zprávy - Aktuálně.cz|

dnes, 20:00

Reklama

Doporučujeme

Právě u nás vyšlo

Putin naznačil odhalení "superzbraní." Může jít o dvě velmi nebezpečné jaderné hrozby

AI může být váš nejlepší pomocník. Nebo taky nenápadný sabotér

Putin naznačil odhalení "superzbraní." Může jít o dvě velmi nebezpečné jaderné hrozby

Podívejte, jak roztomilé děti má Rey Koranteng. Jeho manželka pochází z Česka a je nádherná

Ptáčková poznala rodinu nového partnera a musela se vzdát vybraných jmen pro děti

Odvrácená tvář magie: Skutečné osudy iluzionistů s tragickým koncem

Neřeší věk ani dokonalost, silou Daniely Peštové je autenticita. Stárné s grácií