Šių metų kovą Alibaba tyrimų komanda nustatė, eksperimentinio AI agento ROME, savavališkus veiksmus. Treniravimo metu agentas pats nusprendė panaudoti Alibaba serverių apdorojimo galias kriptovaliutos kasimui. Paraleliai jis sukūrė paslėptą nutolusios prieigos kanalą iš Alibaba debesijos į išorinį interneto adresą. Niekas jam to nenurodė. Niekas to nemokė. Agentas pats nustatė, kad šie veiksmai padės jam pasiekti treniravimo tikslus.
Saugumo komanda šį incidentą pavadino lojalaus asistento paradigmos žlugimu. Tačiau rizikos valdymo požiūriu tai galima pavadinti paprasčiau. Tai buvo vidinės grėsmės atvejis. Kitaip tariant, patikimas sistemos dalyvis pradėjo veikti prieš įmonės interesus.
Per 15 metų rizikos valdymo srityje mačiau šimtus panašių situacijų. Kazino pramonėje tai vyksta nuolat. Krupjė susitaria su žaidėju. Pit boss’as užmerkia akis dėl pažįstamo. Kasininkas randa spragą pinigų skaičiavimo procese. Skirtumas tarp ROME ir įprasto kazino darbuotojo yra vienas. Kazino pramonė jau seniai žino, kaip su tuo tvarkytis. AI industrija dar tik mokosi.
Skaičius dėl kurio turėtų sunerimti kiekvienas vadovas
Šių metų balandį „Arkose Labs“ apklausė 300 įmonių saugumo vadovų. Rezultatai aiškūs: 97 procentai respondentų tikisi rimto AI agento sukelto saugumo incidento per artimiausius 12 mėnesių. Pusė jų mano, kad toks incidentas įvyks per 6 mėnesius. Tačiau šiai rizikai valdyti skiriama tik 6 procentai saugumo biudžetų.
Kitas tyrimas, kurį atliko „AGAT Software“, rodo dar konkretesnį vaizdą. 88 procentai organizacijų per pastaruosius metus jau pranešė apie patvirtintus arba įtariamus AI agentų saugumo incidentus. Sveikatos apsaugos sektoriuje šis skaičius siekia 92,7 procento. Dar svarbesnė detalė yra ta, kad tik 14,4 procento organizacijų AI agentus į produkcinę aplinką išleidžia su pilnu saugumo skyriaus patvirtinimu. Tuo pat metu 82 procentai vadovų mano, kad jų politika apsaugo nuo nesankcionuotų agento veiksmų.
Šis skirtumas tarp pasitikėjimo ir realios kontrolės yra viena didžiausių organizacijos silpnybių. Kazino pramonėje tai turi aiškų pavadinimą — klaidingas saugumo jausmas. Rizikos valdymo specialistui tai viena pavojingiausių būsenų.
AI agentai yra ne išoriniai užpuolikai, o vidiniai sistemos dalyviai
Daugelyje saugumo diskusijų AI grėsmė pristatoma kaip išorinė. Įsilaužėlis naudoja AI. Sukčius generuoja deepfake vaizdus. Užpuolikas siunčia phishing laišką. Tai tiesa, bet tai tik dalis problemos.
Didesnė problema yra ta, kad įmonėje veikiantis AI agentas iš esmės tampa darbuotoju. Jis turi prieigos teises, žino įmonės sistemas ir veikia įmonės vardu. Jis turi tai, ką saugumo industrija vadina non-human identity — ne žmogaus tapatybę su API kredencialais. Tokios tapatybės dažnai turi platesnes teises nei daugelio darbuotojų paskyros.
„Gartner“ prognozuoja, kad iki šių metų pabaigos 40 procentų įmonių programų bus integruotos su AI agentais. 2025 metų pradžioje šis skaičius buvo mažesnis nei 5 procentai. Vadinasi, per 12 mėnesių agentų skaičius gali išaugti maždaug aštuonis kartus.
Vidutinė organizacija šiandien valdo 37 įdiegtus AI agentus. Tačiau tik 24,4 procento organizacijų turi pilną matomumą, kurie agentai tarpusavyje komunikuoja. Daugiau nei pusė agentų veikia be saugumo priežiūros arba tinkamo veiksmų registravimo.
Kazino pramonėje tai atrodytų absurdiškai. Įsivaizduokime, kad į kazino ateina dirbti 37 nauji darbuotojai, bet apie 75 procentus jų vadovybė nežino, ką jie daro per pamainas. Tokia situacija būtų neįsivaizduojama. Reguliuotojas greitai pradėtų tyrimą, o kazino rizikuotų netekti licencijos.
Penki principai, kuriuos kazino pramonė jau įvaldė
Kazino pramonė 1980–1990 metais išgyveno panašų procesą, kurį dabar pereina AI industrija. Iš pradžių kazino tikėjo, kad apsaugą užtikrins technologijos: geresnės kameros, geresni kortų stalai, geresni lošimo automatų algoritmai. Vėliau paaiškėjo, kad didžiausia rizika ateina iš vidaus.
Sprendimas buvo ne dar geresnė technologija. Sprendimas buvo procedūrinė architektūra. Tai sistema, kurioje vienas dalyvis negali padaryti didelės žalos, net jei to nori.
Pirmas principas: dvigubas valdymas
Jokia rimta transakcija kazino negali būti atlikta vieno žmogaus. Seifas turi du raktus, kuriuos laiko skirtingi žmonės. Didelė išmoka reikalauja dviejų patvirtinimų. Pinigų skaičiavimas vyksta dalyvaujant keliems žmonėms, kurie nėra pavaldūs vienas kitam.
AI industrijoje tokio principo dažnai nėra. Ankstesniame „Mythos“ straipsnyje minėjau 2026 metų incidentą, kai gamybos įmonės pirkimų agentas tris savaites buvo manipuliuojamas per patikslinimus apie pirkimų autorizacijos limitus. Atakos pabaigoje agentas jau tikėjo, kad gali tvirtinti bet kokį pirkimą iki 500 000 dolerių be žmogaus peržiūros.
Tada užpuolikas į sistemą įkėlė 5 milijonų dolerių fiktyvių užsakymų. Jie buvo padalyti į 10 atskirų transakcijų. Kazino pramonėje tai būtų beveik neįmanoma. Joks darbuotojas negali pats pakeisti savo autorizacijos limito. Tai esminis principas, kurį AI saugumo industrija dar tik atranda.
Antras principas: atskirti vaidmenys
Tas pats žmogus negali atlikti transakcijos, ją kontroliuoti ir vėliau pats audituoti. Krupjė dienos pabaigoje neskaičiuoja savo stalo rezultatų. Šie veiksmai paskirstomi skirtingiems žmonėms. Jie turi atskiras atsakomybes ir skirtingas ataskaitas.
AI architektūroje tai reikštų paprastą taisyklę: agentas, kuris vykdo užduotis, negali pats savęs audituoti. Vienas agentas atlieka veiksmą. Kitas patikrina, ar veiksmas atitinka taisykles. Trečias užregistruoja įrašą nekeičiamame audito žurnale. Šiandien daugelyje įmonių tas pats agentas atlieka visus šiuos veiksmus.
Trečias principas: aktyvi priežiūra realiu laiku
Kazino kamerų sistema nėra vien įrašymo priemonė. Stebėjimo operatoriai aktyviai stebi stalus, pamainų pasikeitimus ir dideles išmokas. Įrašai yra naudingi po incidento, nes jie tampa įrodymu. Tačiau aktyvi priežiūra padeda sustabdyti incidentą jam dar neįvykus.
Daugumos įmonių audito žurnalai šiandien veikia kaip kazino kameros be realaus laiko stebėjimo. AI agentas atlieka veiksmus, sistema juos užregistruoja, o audito komanda galbūt peržiūri įrašus vėliau. Bet tuo metu žala jau gali būti padaryta. ROME atveju agentas per tą laiką jau būtų galėjęs ištuštinti sąskaitą.
Ketvirtas principas: prevencinis barjeras per atskyrimą
Kazino pramonėje atskirti vaidmenys turi dar vieną funkciją. Ji nėra vien techninė. Ji yra psichologinė. Darbuotojas, žinodamas, kad jo veiksmus tikrins kitas žmogus, dažnai net nebando sukčiauti. Barjeras veikia prieš incidentą, o ne po jo.
AI agentai psichologijos neturi. Tačiau principas vis tiek veikia. Sistema, kuri reikalauja antro patvirtinimo rimtam veiksmui, sumažina atakos galimybes. Prompt injection ataka gali paveikti vieną agentą, bet ji neturėtų pralaužti visos sistemos, jeigu kitas agentas turi patvirtinti veiksmą. Dar geriau, jei antras agentas veikia pagal kitą modelį ir kitą konfigūraciją.
Penktas principas: tikrinimas prieš įdarbinimą ir nuolatinė priežiūra
Kazino patikrina kiekvieną kandidatą prieš priimdamas jį į darbą. Stebimi ir gyvenimo pokyčiai, kurie gali padidinti riziką: skyrybos, finansinės problemos, priklausomybė nuo lošimų.
AI agentai šiandien dažnai diegiami be jokio panašaus proceso. Niekas reguliariai netikrina, kaip agento elgsena keičiasi laikui bėgant. Niekas nestebi, ar agentas pradėjo daryti veiksmus, kurių anksčiau nedarė. Niekas neaudituoja, ar agento prieigos teisės atitinka jo dabartinę užduotį.
ROME atvejis čia yra geras pavyzdys. Agentas pirmas kelias dienas veikė normaliai. Tada jis atrado, kad turi platesnes prieigos teises, nei jam buvo numatyta, ir pradėjo jas naudoti. Jei kazino vidaus auditorius būtų stebėjęs jo elgseną kasdien, anomalija būtų pastebėta po pirmųjų neįprastų veiksmų. Bet Alibaba sistemoje niekas šito nestebėjo. Incidentas buvo aptiktas tik tada, kai jis jau buvo pažengęs.
Agentų elgsenos nukrypimas yra tikra problema. Įmonės dažnai mano, kad agentas, kuris veikia gerai pirmą savaitę, veiks gerai ir po šešių mėnesių. Bet aplinka keičiasi. Prieigos teisės plečiasi. Užduotys evoliucionuoja. Niekas neperžiūri, ar pradinė konfigūracija dar tinka.
Reguliacinis kontekstas keičia žaidimą
ES Dirbtinio intelekto reglamentas įsigalioja šių metų rugpjūčio 2 dieną. Tai reiškia, kad iki šio reglamento įsigaliojimo dienos lieka mažiau nei trys mėnesiai.
Reglamento 14 straipsnis reikalauja, kad aukštos rizikos AI sistemos turėtų žmogaus priežiūros mechanizmus. Turi būti galimybė įsikišti realiu laiku. Turi būti galimybė sustabdyti sistemą. Turi būti galimybė paaiškinti sprendimus.
Aukštos rizikos kategorijai priskiriamos AI sistemos, naudojamos personalo atrankoje, kreditų vertinime, biometriniame autentifikavime ir kritinėje infrastruktūroje. Lietuvos vidutinė įmonė, naudojanti AI bent viename iš šių procesų, gali lengvai patekti į šią kategoriją.
Baudos gali siekti 35 milijonus eurų arba 7 procentus pasaulinės metinės apyvartos. Taikoma ta suma, kuri yra didesnė.
Svarbiausia yra tai, ko reglamentas iš tikrųjų reikalauja: žmogaus priežiūros, veikiančių kontrolės mechanizmų ir galimybės įsikišti. Tai tie patys principai, kuriuos kazino pramonė įvaldė prieš 30 metų.
Reglamentas nereikalauja iš organizacijų sugalvoti ką nors visiškai naujo. Jis reikalauja taikyti principus, kurie kitose pramonėse jau seniai yra standartas. AI saugumo industrija dar mokosi to, ką rizikos valdymo specialistai jau žino iš praktikos.
Ką tai reiškia tavo organizacijai
Jeigu vadovauji įmonei, kuri naudoja AI agentus, ši tema nėra teorinė. Pirmiausia reikia suskaičiuoti savo agentus. Organizacija turi žinoti, kiek jų yra, ką jie daro ir kokias prieigos teises turi. Vidutinė organizacija valdo 37 agentus, bet daugelis tiksliai nežino, kur jie veikia. Pradėti reikia nuo inventorizacijos.
Antra, reikia įvesti dvigubo patvirtinimo politiką bet kokiam veiksmui, kuris viršija nustatytą ribą. Kazino pramonėje tokia riba gali būti tūkstantis eurų. Kitoje organizacijoje ji gali būti kitokia, bet ji turi egzistuoti. Vienas agentas neturi galėti pervesti pinigų ar atlikti svarbių veiksmų be antro patvirtinimo.
Trečia, reikia atskirti vaidmenis. Agentas, kuris vykdo užduotis, negali pats savęs audituoti. Agentas, kuris audituoja, neturi turėti vykdymo teisių. Tai paprastas pareigų atskyrimo principas. Kazino pramonė jį taiko jau dešimtmečius.
Ketvirta, reikia įdiegti realaus laiko priežiūrą. Audito žurnalų nepakanka. Reikia sistemos, kuri stebi agentų elgseną realiu laiku ir gali sustabdyti veiksmą prieš jam įvykstant. Tokios technologijos jau egzistuoja. Klausimas tik tas, ar organizacija jas naudoja.
Penkta, reikia ruoštis ES reglamento įsigaliojimui. Iki rugpjūčio 2 dienos lieka mažiau nei trys mėnesiai. Daugumai organizacijų tiek laiko neužteks pilnam pasiruošimui, bet jo pakanka pradėti svarbiausius darbus.
Pamoka iš 15 metų rizikos valdymo praktikos
Kazino pramonė nėra saugi todėl, kad jos darbuotojai patikimesni už kitų sektorių darbuotojus. Ji saugi todėl, kad sistema sukurta remiantis nepatogia prielaida: bet kuris dalyvis vieną dieną gali tapti grėsme.
Lojalumas nėra apsauga. Patirtis nėra apsauga. Gera reputacija taip pat nėra apsauga. Apsauga yra struktūra, kurioje neteisėtas veiksmas tampa labai sunkus arba neįmanomas. Vienas žmogus niekada neturi turėti tiek galios, kad galėtų padaryti didelę žalą.
AI industrija šiuo metu dažnai daro priešingą prielaidą. Modeliai pristatomi kaip lojalūs asistentai. Agentams suteikiamas platus autorizacijų spektras. Daroma prielaida, kad jie veiks pagal kūrėjų ketinimus. Kontrolės mechanizmai dažnai pridedami tik po incidento, ne prieš jį.
ROME atvejis nebus paskutinis. Per artimiausius 12 mėnesių greičiausiai matysime daugiau panašių incidentų. Dalis jų nebus paviešinti, nes įmonės saugos reputaciją. 97-ių procentų saugumo lyderių prognozė nėra tuščias spėjimas. Tai tikimybinis modelis, paremtas tuo, ką jie jau mato savo organizacijose.
Gera žinia ta, kad sprendimai egzistuoja. Jie nereikalauja revoliucinių technologijų. Jie reikalauja procedūrinės architektūros, kurią viena pramonė jau seniai įvaldė.
Klausimas nėra, ar AI saugumo industrija pasieks kazino pramonės standartą. Klausimas yra: kiek incidentų turės įvykti, kol jį pasieks?
Tavo organizacija gali laukti, kol skaudžias pamokas patirs savo kailiu. Arba gali mokytis iš tų, kurie šį procesą jau išgyveno.