Anthropic oznámil, že texty vygenerované jeho modely Claude budou mít “vodoznak”. Proč, a co to znamená?

vtip vytvořil ChatGPT

Co přesně se stalo? Anthropic se rozhodl udělat vstřícný krok, a bude dobrovolně označovat všechny texty vygenerované AI. V EU to od 2. srpna vyžaduje příslušné ustanovení tzv. AI Actu, tedy zákona, který EU přijala už před dvěma lety (!) a který reguluje používání AI. Výklady se různí, takže proto se o tomto kroku mluví a píše jako o “dobrovolném”: Zároveň však hrozí drakonické pokuty. Závazek Anthropicu platí celosvětově a na všech platformách (aplikace, API, Claude Code, Cowork i modely přes AWS, Google Cloud a Microsoft

Už se to děje? Zatím ne. Pokud to Anthropic už nezačal tajně dělat dřív, lze tzv. vodoznak čekat nejdřív v modelech vydaných po 2. srpnu. Žádný zatím nevyšel. To však neznamewná, že ve starších modelech nebude nikdy - podle vyjádření firmy se zdá, že do nich funkci doplní dodatečně.

Co to ten vodoznak vlastně je? Nejde o žádný skrytý symbol (jako třeba na bankovkách), ale o lehce “cinknuté” nasazení jazykového modelu. Zjednodušeně řečeno: když model “píše”, tak si často vybírá mezi slovy se stejným nebo velmi podobným obsahem. (Například v předešlé větěby klidně mohlo být slovo “hodně” místo “velmi”.) Nasazení vodoznaku spočívá v tom, že model začne systematicky dávat přednost určitým slovům. Když to v textu udělá vícekrát, “vyjde” to při kontrole jako signál, že jde o vygenerovaný text. Pro běžného člověka to však bude nerozpoznatelné.

Bude to fungovat spolehlivě? Docela ano. Statistika je celkem neúprosná, a pravděpodobnost, že by třeba dvacetkrát člověk udělal stejnou volbu jako AI model, je hodně malá. Ale samozřejmě se to teoreticky stát může. Zároveň z toho plyne to, že text bude muset mít určitou délku. U krátkých několikařádkových textů bude kontrola vodoznaku spolehlivá mnohem méně.

Víme, jak to bude přesně fungovat? Zatím ne. Ale popsaný mechanismus plus mínus odpovídá tomu, jak se už podobné věci dělají. Třeba Google to, co dnes Antthropic oznámil, provozuje v Gemini pod názvem SynthID už delší dobu.

Anthropic ukryje do textů “šifru”. A kdo dostane klíč? I to je zatím hodně mlhavé. “Klíč” je asi nepřesné označení, spíše se dá mluvit o “detekčním nástroji”. Anthropic slibuje, že detekci „umožní uživatelům a třetím stranám”, detaily mají přijít v technické dokumentaci. A protože evropská regulace počítá v AI ekosystému s firmami a institucemi, které AI budou detekovat, dá se čekat, že “detekční nástroj” dostanou k dispozici firmy, které se už dnes vyhldáváním AI zabývají. Z nich je za nejspolehlivější považován Pangram. V tuhle chvíli však Pangram a podobné nástroje fungují jinak: trénují na rozpoznávání AI vlastní klasifikátory. Jsou tedy méně spolehlivé a hlavně je lze drobnými úpravami textu lépe obejít.

A vodoznak obejít nejde? Samozřejmě, že jde. A už se objevují náznaky, že tak jako Anthropic vyvinul “vodoznak”, nabídnou jiné firmy nástroje, jak tento “vodoznak” odstranit. Ono to nemusí být zas tak těžké, stačí jen text vzít a náhodně některé slova pozměnit. Opět tak, aby to lidský čtenář ani nepoznal. A pak už to bude klasická hra na policajty a zloděje, a kdo bude rychleší a lepší: firmy budou soupeřit, kdo vyhraje. Jestli “vodoznaky”, nebo “antivodoznaky”, a situace se může - podobně jako u virů a antivirů - dynamicky měnit.

Co tedy teď dělat? Musíme si počkat. Ale moc nekritizujme Anthropic, protože za nedodržení článku 50 (AI Act) hrozí pokuty až patnáct milionů eur nebo tři procenta globálního obratu. Americké firmy můžou taky teoreticky zareagovat tak, že své modely pro Evropu dočasně zcela vypnou. A jakkoli máme v EU “svůj” Mistral, tak se zdá, že čelo pelotonu s nejlepšími modely už téhle francouzské firmě asi ujelo.

A na závěr zcela jednoduchý dotaz: je zavedení “vodoznaku” zlo a problém, anebo to může být k něčemu dobré? Na to je odpověď složitější. Částečně je filozofická a politická. Záleží na tom, jak se na regulace jako takové díváme. Osobně se spíš přikláním k tomu, že by jich mělo být méně než více. Na druhou stranu, konkrétně samotná detekce vygenerovaného obsahu inovacím a používání AI nijak nebrání. A v řadě oborů či situací může být užitečné vědět, které texty psali lidé, a které vytvořila AI. Názor si udělejte sami.

(Třeba tenhle jsem napsal sám, ale rešerši dělala AI podle mých instrukcí. Detekcí projde v pohodě. Ale kdyby ho celý napsala AI, byl by výrazně horší? Nebo pro vás méně zajímavý? Asi ne. Ale to už je jiné téma.)

Worskhop AI Masterclass nabízí už od května 2023 to, co už ocenilo přes 12 tisíc účastníků: jasný, srozumitelný a zcela aktuální přehled o všem, co nabízejí AI nástroje. Ukážeme vám, jak AI používáme a jak byste ji mohli či měli používat i vy. A taky k čemu a proč byste ji používat neměli. PLUS workshop Vibecoding pro neprogramátory (s Pavlem Kasíkem). Rezervujte si místa na termíny v září 2026.