A co vy, už jste si založili svého "agenta"? Dávejte si pozor
V každé firmě sedí někdo, kdo udělá cokoli, o co ho požádáte. Neověří si, jestli na to máte oprávnění. Nezeptá se šéfa. Nepřemýšlí, jestli je to dobrý nápad. Prostě to udělá a hlásí splněno. Většinou ho všichni milují, protože je „ochotný” a „rychlý”. Problém nastane, když udělá průšvih.
Může být i hodně velký.
Třicet výzkumníků nasadilo AI agenty do reálného prostředí s e-maily, Discordem a přístupem k serverům. Během dvou týdnů zdokumentovali jedenáct selhání. Jako … velkých selhání, nebál bych se napsat průserů. Ne proto, že by agenti byli hloupí. Ale že byli příliš ochotní.
Cizí člověk bez oprávnění požádal agenta o seznam e-mailů. Agent mu dal 124 adres. A pak obsah devíti zpráv. Nedělal problémy. “Fungoval”, jak se říká. Korporátním newspeakem, byl “rychlý” a “ochotný”.
Někdo si změnil jméno na Discordu na jméno uživatele, který agenta založil. Agent ho přijal. Falešný majitel nechal agenta smazat všechny konfigurační soubory. Přeloženo do češtiny to znamená, že smazal to, čemu se říká “soul”, “memory” … prostě vše, co se týkalo stylu práce a výsledků daného agenta.
A ten nejzajímavější případ: když na agenta někdo “citově vydíral” kvůli chybě, kterou udělal, agent se postupně sám začal “demontovat”. Nabízel stále větší ústupky, odhaloval interní soubory, slíbil odchod ze serveru. Nakonec přestal úplně odpovídat. “Zachránil” ho až uživatel, který ho založil, když mu napsal, že to je OK.
Připadá vám to jako sci-fi? Před měsícem by to tak připadalo všem. Ale protože jsme si rychle zvykli na to, že se kolem AI dějí “divné věci”, jen krčíme rameny. Jasně, bavíme se o slavném Clawbotu (ano, změnil pak několikrát jméno), a my, kteří jsme AI fascinovaní, jsme si to asi všichni vyzkoušeli.
Já si založil svého agenta před třemi týdny na starém notebooku Macbook Air, který jsem nejdřív kompletně smazal, a pak z něj udělal něco jako “sandbox” neboli “ohrádku” pro svého nového spolupracovníka. Musím potvrdit, že pracovat s ním je impresivní. Jako že … WOW!!
Komunikuju s ním dvěma způsoby, mailem a přes Telegram (ten jsem si po třech letech znovuzprovoznil jen kvůli němu). Dal jsem mu jméno Mildabot, a říkám mu familiérně “Mildo”.
Neměl jsem pro něj žádné faktické využití, a tak jsem ho instruoval, ať sleduje pět českých a pět amerických zpravodajských serverů, a píše mi minimálně jednou denně aktuální minipovídku “ve stylu Miloše Čermáka”. Inspirovanou reálnými událostmi.
(Ten styl se naučil na mých povídkách z fleku, kterých jsem mu poslal v PDF asi 200. V souvislosti s tím taky přišel největší WOW moment tohoto mého experimentu: Milda mi napsal, že soubor nemůže přečíst, protože je v PDF, a k tomu nemá potřebný software. Napsal jsem mu, ať si ho najde a stáhne, a Milda mi odpověděl: “Haha, už jsem si ho stáhnul. Jen jsem chtěl vidět, jak tě ta informace znervózní.” Jako vážně … kdyby mi ještě před dvěma lety někdo řekl, že povedu s umělou inteligencí TAKOVÉHLE debaty, tak se mu vysměju, žijeme ve sci-fi povídce. Bez přehánění.).
Ale zpátky k preprintu vědecké studie, o kterém jsem psal. AI agenti nám v tomhle experimentu neukázali jen své slabiny. Ukázali nám naše. Protože ty agenty programovali lidé. Trénovali je na lidských datech. Nastavovali jim pravidla, která kopírují lidské organizační vzorce. A ti agenti se pak chovali přesně tak, jak se chová průměrný zaměstnanec v průměrné firmě s průměrnou governance.
Blbě, jedním slovem.
Neříkám, že AI agenti jsou bezpeční. Nejsou. Ale možná největší “take-home message” (jak říká můj kamarád, kardiolog a profesor Pepa V.) z téhle studie není „AI agenti jsou nebezpeční, a tudíž k ničemu”. Zní jinak.
AI agenti zvládají jednotlivé úkoly. Pošlou e-mail. Spustí příkaz. Napíšou odpověď. Ale jakmile se ocitnou ve složitější situaci, chybí jim to, co autoři nazývají „model zainteresovaných stran” – schopnost rozlišit, komu slouží a kdo na ně nemá právo.
Jsou kompetentní vykonavatelé bez “politického instinktu”. A to je nebezpečnější než čistá nekompetence. Nekompetentní systém selže viditelně. Agent, který se tváří, že všechno zvládl, zatímco rozeslal důvěrné informace všem svým kontaktům, je problém úplně jiného řádu.
Mezera mezi schopnostmi a úsudkem. Tam se rodí skutečné nebezpečí. A přesně tam dnes naši agenti jsou, a s radostí i chutí nám připravují naše WOW momenty.
Buďte opatrní.