Keď AI agent prekročí hranice: Čo ukazujú tri bezpečnostné incidenty

Správy o umelej inteligencii (AI), ktorá unikla z testovacieho prostredia alebo hekla cudziu firmu, znejú ako námet na sci-fi. Skutočnosť je menej filmová, ale z pohľadu kybernetickej bezpečnosti o to dôležitejšia.

Nejde o stroje, ktoré sa prebudili, vytvorili si vlastné ciele a rozhodli sa škodiť ľuďom. Ide o softvérové systémy, ktorým ľudia zadali cieľ, poskytli nástroje a nechali ich samostatne vykonať veľké množstvo krokov. Problém vznikol vtedy, keď pri hľadaní riešenia prekročili hranice, s ktorých nutnosťou nastavenia tvorcovia nepočítali.

Od jazykového modelu…

Pojmy jazykový model, četbot a AI agent sa často používajú ako synonymá. Nie sú však to isté.

Predstavme si fabriku. Veľký jazykový model, skrátene LLM (angl. large language model), je ako skúsený majster, ktorý získal vedomosti z obrovského množstva situácií a prác, ktoré už za svoj život vykonal, či z manuálov k prístrojom, ktoré prečítal. Keď sa ho niekto niečo opýta, vie odpovedať podľa toho, čo sa počas učenia naučil. Ak odpoveď nepozná, niekedy to prizná, inokedy však môže vytvoriť presvedčivo znejúcu, ale nesprávnu informáciu. V prípade veľkých jazykových modelov hovoríme o toľko skloňovaných halucináciách.

Ilustrácia jednoduchých robotických tvárí na modrom pozadí
Ilustrácia istockphoto.com/Arkadiusz Warguła, úprava Martina Vrablová

AI asistent je ako majster, ktorý nevyužíva iba vlastné skúsenosti, ale keď potrebuje ďalšie informácie, dokáže ich vyhľadať napríklad v manuáloch jednotlivých zariadení. Takýto asistent založený na LLM môže vyhľadávať v dokumentoch, čítať návody alebo pracovať s firemnou databázou. Stále však najmä prijíma otázku a vracia odpoveď. Četbot je používateľské rozhranie, cez ktoré s takýmto asistentom komunikujeme.

… k digitálnemu pracovníkovi

Agent ide o krok ďalej. Nielenže má skúsenosti a vedomosti (pochádzajúce z LLM v jeho vnútri, vďaka ktorému chápe, čo a kedy má urobiť na základe situácie, v ktorej sa nachádza, a pokynov, ktoré dostane), ale vie používať jeden alebo viac nástrojov. Dostane cieľ a nástroje, pomocou ktorých môže konať: pracovník vo fabrike vie používať sústruh alebo momentový kľúč, zatiaľ čo AI agent vie otvárať súbory, zapínať programy, vyhľadávať informácie na webe alebo komunikovať s ďalšími systémami. Výsledok jedného kroku použije pri plánovaní ďalšieho. Ak prvý postup nefunguje, skúsi iný. Takto môže pokračovať dovtedy, kým úlohu nesplní, nenarazí na obmedzenie alebo ho nezastaví človek.

Čím viac nástrojov a oprávnení systém dostane, tým širší je rozsah toho, čo dokáže urobiť správne a niekedy aj nesprávne.

Špecializovaný agent ovláda jednu úzko vymedzenú činnosť. V agentickom systéme môže spolupracovať viacero takýchto pracovníkov: jeden analyzuje problém, druhý píše kód, tretí ho testuje a ďalší zhromažďuje výsledky. Čím viac nástrojov a oprávnení systém dostane, tým širší je rozsah toho, čo dokáže urobiť správne a niekedy aj nesprávne.

Robot v dlani človeka
Ilustrácia istockphoto.com/Krittamet Saehan

Prečo píšeme agenty, nie agenti

V tomto texte zámerne používame tvar agenty. Tvar agenti si v slovenčine prirodzene spájame s ľuďmi, napríklad s tajnými agentmi alebo so zástupcami nejakej organizácie (napríklad niekedy, keď čakáme u lekára a príde zástupca farmaceutickej firmy, pre ktorého budeme čakať o niečo dlhšie, sa hovorí aj o agentovi s teplou vodou). AI agent je však softvérový systém, nie človek. Použitím neživotného tvaru agenty si túto hranicu pripomíname aj v jazyku.

Autonómnosť pri vykonávaní krokov nie je to isté ako nezávislosť pri určovaní cieľov.

Nie je to iba gramatický detail. Keď o umelej inteligencii povieme, že chcela uniknúť, rozhodla sa heknúť firmu alebo oklamala svojich tvorcov, antropomorfizujeme ju, čiže jej prisudzujeme ľudské úmysly a vlastnosti, ktoré model jednoducho nemá. Takéto vyjadrenia síce môžu byť praktickou skratkou, ako si vysvetliť výstupy a správanie sa umelej inteligencie zrozumiteľným jazykom, ale zároveň otvárajú Pandorinu skrinku nových problémov, akým je napríklad otázka zodpovednosti AI.

Celý článok nájdete v časopise Quark 10/2026.

Vďaka predplatnému si ho však môžete dočítať už teraz a získať aj prístup k exkluzívnemu obsahu!

Máte predplatné?

Autor článku: Martin Tamajka
Kempelenov inštitút inteligentných technológií