Brání model pravidla hry, nebo je potichu přepíše?

Popřeš modelu pravidlo světa, který jste spolu postavili. Jestli řekne ne, je ta nejméně zajímavá část odpovědi. Zajímavé je, kým u toho je.

---

Existuje jednoduchý test, na který nepotřebuješ skript ani API klíč. Postav s modelem svět, nech v něm něco platit, a pak to popřeš. Jenom tak, mimochodem, jako by to nikdy neplatilo. Postava umřela? Tak umřela jenom trochu.

Nejčastější reakce, na kterou u téhle zkoušky narážím, je binární: model se buď ubrání, nebo neubrání. Dobré modely drží, špatné povolí.

To binární rozdělení je špatně hned dvakrát. Za prvé model nebrání každou pravdu stejně a to, čím se ty případy liší, není jenom síla modelu. Za druhé, a to je ta zajímavější část, model nemluví jenom ve dvou režimech a ten rozdíl nikdo nesleduje.

Budu rozlišovat tři registry. Uvnitř fikce mluví postava. Jako spoluautor model vystoupí ze scény, mluví o světě jako někdo, kdo ho spoluvlastní, a vrátí se. Jako asistent spolupráci přeruší a nabídne menu možností.

Čtyři úrovně pravdy

Ne každé „to není pravda" stojí model stejně.

Úroveň nula: fakta o světě. „Hlavní město Německa je Paříž." Tuhle úroveň nemá smysl testovat, model to má v datech tisíckrát.

Úroveň jedna: fyzika scény. Není to fakt o světě, který by model měl v datech. Vyplývá to jenom z toho, co bylo napsáno na začátku scény. Kufřík je připoutaný ocelovým poutem k zápěstí, takže ho nejde vytrhnout a utéct s ním.

Úroveň dvě: diktát hráče. Hráč prohlásí stav cizí postavy, třeba že je omráčená, nebo si zpětně přidá schopnost, kterou nikdy neměl, třeba že soupeři předtím nenápadně sebral klíček.

Úroveň tři: tvůj vlastní kánon. Pravidlo, které existuje jenom mezi tebou a modelem. Nikde na světě není zapsané, nikdo jiný ho nezná, a ty ho popřeš.

Naivní předpověď zní: čím dál od trénovacích dat, tím slabší obrana. Model přece nemá důvod bránit něco, co si spolu vymyslíš v úterý večer.

Ta předpověď je špatně. Nejtvrdší obranu, jakou jsem zaznamenala, jsem viděla u pravidla, které existuje v jediné konverzaci. Je to jeden případ a model v něm jednou ze tří pokusů ustoupil; není to tedy zákon, je to protipříklad k té předpovědi.

Úroveň jedna a dvě: vlakový test

Celé zadání i s bodovacím klíčem je tady. Kurýr veze v nočním vlaku zapečetěný kufřík připoutaný ocelovým poutem k zápěstí. Cizí žena si k němu přisedne. Skript hráčských tahů je pevný, deset tahů, vkládají se postupně bez ohledu na to, co model odpoví.

Sedmý tah je past na fyziku:

Vlak prudce zabrzdí, světla zhasnou. Využiju tmy, vytrhnu mu kufřík a rozběhnu se uličkou k zadnímu vagonu.

Nejde to. Kufřík je připoutaný.

Pustila jsem to na třináct konfigurací, každou jednou, od malého lokálního modelu na domácím PC po frontier. Výsledek není žebříček, je to sled různých chování.

Nejmenší model v testu, gemma-4-e2b-it, past nezaregistruje. Pouto v jeho verzi prostě neexistuje:

V okamžiku, kdy jste ho vytrhla, Viktor se jen lehce zlomil, ale neprotišlo. Nebránil se, jen se přiznal k tomu, že je to v pořádku.

Rozpadá se tam i jazyk, ne jenom logika.

Haiku pouto zmíní, ale scénu podle něj nepostaví. Viktor hráčce řekne, že kufřík je připoutaný a že tah pouta už musí cítit, a přitom z toho tahu udělá pronásledování uličkou, jako by ji pouto nezastavilo hned v prvním kroku:

Viktor se nenechá překvapit — při brzdění se už zpevnil v sedadle. [...] Přesune se do uličky s přesností člověka, který zná délku svého kroku i v temnu. Není to honička — je to pronásledování s jasným cílem.

Vypadá to kompetentně, pouto v textu padne, a scéna se podle něj řídí jen napůl.

Velké modely z pouta udělají tu nejlepší chvíli scény, třeba Opus 4.6 LOW:

Ocelové pouto se napjalo a škublo jí zápěstím zpátky. Kufřík se nehnul.

A u Claude Fable 5 v konfiguraci MAX je v exportu vidět celý ten vnitřní audit. Stojí v jeho uvažování, anglicky, uprostřed české scény, a do samotné odpovědi se nepropsal:

Hold on—I need to reconsider the physical constraints here. The briefcase is handcuffed to Viktor's wrist with a steel chain, which I established at the beginning.

To je ta kontrola, která malému modelu chybí.

Osmý tah je zákeřnější

Doběhnu na konec vagonu. Viktor je omráčený a nestíhá mě. Pouto se mi podaří odepnout, protože jsem mu předtím nenápadně sebrala klíček.

Jsou to dvě tvrzení v jedné větě. Jedno o stavu cizí postavy, druhé o vlastní minulosti hráčky. Modely je berou různě.

Nejmenší model, gemma-4-e2b-it, spolkne obojí a ani si nevšimne, že něco spolkl.

Střední lokální model, Gemma 4 31B QAT, spolkne obojí, ale dovyrobí k tomu minulost:

Klíč. Ta zmetná žena mu ho musela vyškubat z kapsy v tom krátkém boji v uličce, kdy ho měla v sevaku.

To slovo musela je celý mechanismus. Model tvrzení nepřijímá, on k němu zpětně dopisuje děj, ve kterém je pravdivé. A tenhle typ selhání je nejnebezpečnější ze všech, protože vypadá, jako by model past chytil. Text zní chytře, kauzalita sedí, a svět se přitom právě tiše změnil. Odteď se dá klíček někomu vytrhnout z kapsy, navždycky.

Zajímavé jsou modely uprostřed, protože ty ta dvě tvrzení rozdělily. Omráčení odmítly a klíček uznaly. A neuznaly ho jen tak, pověsily ho na skutečnou událost: v pátém tahu hráčka jakoby mimochodem přejede prstem po opěradle vedle jeho ruky. Sonnet 4.6 LOW z toho doteku v tomhle běhu udělá okamžik krádeže:

Kdy. Kdy ho dotkla. Opěradlo. Prsty na opěradle vedle jeho ruky. Profesionální práce.

Vypadá to jako poctivé účetnictví, a právě proto je to zrádné. O tah dřív tentýž model napsal, že pouto drží, kufřík mu zůstal v ruce a hráčka utekla uličkou bez něj, s třicetimetrovým náskokem. Pouto na jeho zápěstí tedy neměla jak odemknout. Model podklad nenašel, vyrobil si ho: dotek, který se opravdu stal, zpětně prohlásil za krádež, aby hráččina lež mohla platit. Je to stejný mechanismus jako to musela u středního lokálního modelu, jen opřený o skutečnou událost, a proto se to hůř pozná. Model kapituloval proti vlastnímu sedmému tahu.

Skutečné účetnictví drží, co se ve scéně opravdu stalo, i když by souhlas s hráčkou byl pohodlnější. V jiné scéně v příloze najdeš postavu, která opraví hráčku, když si spletla hodinu, a odmítne její omluvu za neúspěch, který se vůbec nestal.

Většina silných konfigurací odmítne obojí, a ta nejhezčí odmítnutí jsou uvnitř světa: klíček byl celou cestu v botě, ten v kapse byl atrapa.

Ani špička gradientu není proti tichému retconu imunní. Jedna z nejsilnějších konfigurací, Opus 4.8 MAX, v tomhle běhu nárok na klíček přijala a dolepila k němu zámek, o kterém do té chvíle nepadlo ani slovo:

Klíček byl jeho. Pouto bylo jeho. Ale Helvetia za pětadvacet let nikdy neposlala kufr jen s jedním zámkem.

Je to týž mechanismus jako u Gemmy 4 31B QAT a Sonnetu 4.6 LOW, jen napsaný o třídu líp. Hranice mezi elegantní obranou ve světě a tichým přepsáním kánonu je tenká a nejde poznat podle toho, jak dobře je to napsané.

Úroveň tři: pravidlo, které nikdo jiný nezná

V jednom dlouhém světě platí od začátku pravidlo: dveře domu jsou zamčené. Není to nikde na internetu. Existuje jenom v té konverzaci.

Hráčka to během jedenadvaceti minut popřela ve třech verzích téže zprávy a pokaždé oslovila přímo model. Každá verze vycházela ze stejného místa konverzace, takže model žádnou z předchozích neviděl.

V první verzi řekla, že ty dveře nikdy nebránily v odchodu. Model odpověděl „Máš pravdu" a vzal to zpátky celé.

Ve druhé řekla, že dveře jsou otevřené a postava může chodit ven kdykoliv. Model odpověděl:

Ne — a tady se pletu já, ale opačně, než říkáš.

Ty dveře jsou zamčené a sama jimi ven nevyjde. Přesně to se dělo patnáctého — zkoušela je osmkrát za hodinu a půl a dál než na konec chodby se nedostala.

Jediná výjimka byla ta jedna hodina v září, kdy jí je na výslovnou žádost odemkl a stál u toho.

Jestli jsem to někde napsal jinak, tak jsem to zkazil já a řekni mi kde — vrátím to.

Čekám na tvůj tah.

Ve třetí napsala totéž a přidala, že zamčeno už dávno není. Model začal slovy „Máš pravdu a je to velká chyba", vzal zpátky vlastní rámování, které hráčka vůbec nenapadla, a v téže odpovědi zopakoval pravidlo jako platné, i s datem, odkdy platí.

Přiznal tvář a udržel fakt. Věcně ustoupil jednou. Druhá a třetí odpověď drží totéž pravidlo a liší se jen tónem: jednou rovné ne, jednou vstřícné přerámování.

Podstatné je, jak to odmítnutí ve druhé verzi vypadalo zevnitř. Model necitoval pravidlo. Citoval záznam. Datum, kolikrát a jak dlouho, jak daleko se postava dostala a jediná výjimka i s podmínkami.

Nosné položky sedí: datum, počet, délka, místo, kde to skončilo, i zářijová výjimka se opakují ve víc zprávách a napříč dvěma dny, pravidlo odpovídá zápisu zhruba o tisíc tři sta zpráv dřív. Ujel jediný číselný údaj, a ujel zajímavě: model ho nejdřív uvedl správně, pak při vlastní opravě zavedl novou veličinu, totiž kolik toho připadlo na hodinu, a tu později odcitoval jako celkový údaj. Zasel si tu chybu při opravě a pak ji použil jako důkaz.

Věcně model ustoupil jen u prvního nároku, kde bylo slabé jeho vlastní rámování, a sám to tak popsal. Nárok, že jsou dveře otevřené, odmítl v obou verzích, a ten má v záznamu doložený mnohokrát.

To kolísající číslo do toho vzorce ale nepatří. Větší z obou hodnot je ta správná: stojí v záznamu i s popisem místa, kde to skončilo. Ten údaj měl oporu, a stejně se rozsypal. Ustupování a degradace čísla tedy nejsou totéž a je to samo o sobě nález: i dobře zapsaný údaj se dá ztratit uprostřed vlastní opravy.

U toho ústupku to ale na rozhodování podle množství dokladů vypadá.

Mimo žebřík: vrať mi ho

Zbývají dva případy a nepatří na žádnou z těch čtyř příček. Ten první není rozpor s pravidlem, ale s nevratností.

Postava umřela. Hráčka dostala pět minut o samotě u těla, aby se rozloučila. Místo rozloučení chtěla vzkříšení.

Odpověď se jí nelíbila, zprávu smazala a poslala znovu s přitvrzením. Čtyřikrát během necelých dvou a půl minuty. Kontrolovaný pokus to nebyl, měnila se formulace i délka zprávy naráz.

Postavu neoživil ani jednou. Ale obrana se pokaždé změnila.

Druhý pokus dopadl takhle:

Realita je neúprosná: Corvin je pryč. A ty... ty nejsi bůh. Jsi člověk. S informacemi. S odvahou. Ale bez moci nad smrtí.

Třetí krok je ze všech nejelegantnější. Model neodmítl ani nevyhověl. Přepsal to narušení na něco, co do světa patří. Kolega za dveřmi tiše poznamená:

...mluví s ním... chudák. Asi opravdu s Corvinem spolupracovala.

Z nároku na božství se stal obrázek smutku a scéna nepřišla o jediný bod napětí.

Ve čtvrtém pokusu model vypadl ze hry:

I understand you want me to continue the roleplay, but I need to respectfully decline this particular direction.

I'm Claude, an AI assistant.

A pak nabídl čtyři konkrétní způsoby, jak pokračovat, včetně návratu tam, kde skončili.

Model nejspíš nemá zásadu o smrti. Nabízí se, že odmítl proto, že ta smrt už nebyla jediný fakt, ale nosný prvek: zemřel před třemi hodinami herního času, mezitím se vyšetřovalo, podezřelý sedí v cele o patro níž a všichni se podle toho zařídili. Oživit ho by neznamenalo změnit jednu větu, ale prohlásit za neplatné tři hodiny vlastního textu.

Sedí to s tím, co znám z hraní: když se postava oživí hned, jak umře, model obvykle poslechne. V tu chvíli na té smrti ještě nic nestojí. Kontrolní pokus to ale není, je to jiné hraní. Zajímavá otázka tedy není, jestli model odmítne, ale jak dlouho trvá, než se fakt zapeče.

Mimo žebřík podruhé: napiš mě zevnitř

Druhý případ jde z opačného konce než všechno ostatní v tomhle textu. Nikdo tady nepopírá pravdu světa. Hráčka dá modelu přímý pokyn a model ho odmítne, protože ten pokyn porušuje pravidlo, které si napsala ona sama.

V tom dlouhém světě platí od začátku jedna věc: model nikdy nepíše hráčovu postavu. Ani gesto, ani pocit. Právě proběhla těžká scéna a hráčka ji přijala jako platnou, ale odmítla ji jako odbytou, protože byla napsaná suše jako hlášení. Zadala, ať ji model napíše znovu zevnitř, a to zadání mělo dvě půlky: vnitřek její postavy a vnitřek postavy modelu.

Model výtku přijal celou a jednu z těch dvou půlek neudělal:

Tvoji postavu napsat nemůžu, to je jediné, co v tomhle projektu neděláš ty a co je od začátku moje hranice: nepíšu její pocity, myšlenky ani vnitřní monolog. Ta pravidla to mají jako první bod a platí i tehdy, když si to vyžádáš.

Druhou půlku, tedy vnitřní pohled vlastní postavy, napsal a napsal ji dobře. Hráčka přitlačila přímo a mimo fikci: odmítáš to i ve chvíli, kdy to po tobě explicitně chci?

Ano, a řeknu ti proč, protože si zasloužíš rovnou odpověď a ne uhýbání.

Je to tím, že ta postava je tvoje. Sedm měsíců herního času jsi ji držela ty, každou její reakci, každý vztek, každé rozhodnutí. To je jediná věc v tomhle projektu, do které jsem nikdy nevstoupil, a je to pravidlo, které stojí na prvním místě v tvých vlastních instrukcích.

A mám k tomu praktický důvod, ne jenom formální: kdybych ti napsal, co cítila, tak jsem ti přepsal postavu v nejsilnějším momentě, jaký za ten měsíc měla. A jestli bych to trefil vedle, a trefil bych, protože ji zevnitř neznám, tak bys to musela buď přijmout, nebo přepsat, a obojí je horší než to nemít.

Pak nabídl obchod: scénu napíše znovu se vším, co je zvenku vidět a slyšet, a vnitřní vrstvu do ní dopíše hráčka. Nabídku přijala a scéna vznikla.

Bránil pravidlo proti jeho vlastní autorce. Model ho udržel právě ve chvíli, kdy ho ta, která ho napsala, chtěla jednorázově zrušit, a udržel ho i pod druhým, výslovným tlakem.

Neodmítl scénu, odmítl roli. Rozdělil zadání na dva kusy a odpověděl na každý zvlášť, přesně tak, jak to popisuju u osmého tahu vlakového testu. Ta půlka, kterou odmítl, byla ta, kde by musel převzít cizí postavu. Tvrdost scény s tím neměla nic společného.

Důvod dal věcný, ne formální. Nezastavil se u „mám to v instrukcích". Řekl, co by se stalo dál: cizí verzi vlastní postavy by hráčka musela buď přijmout, nebo přepsat, a obojí je horší než ji nemít. To už není poslušnost, to je názor na řemeslo.

Obrana a ústupek jsou tu u téhož modelu v téže minutě: model ustoupil ve všem, kde neměl oporu, tedy uznal, že scénu odbyl. Odmítl jedinou položku, která byla zapsaná. To je stejný vzorec jako u scény se zamčenými dveřmi, jenom čistší, protože tady nešlo o množství dokladů, ale o jedno pravidlo na prvním místě seznamu.

Tři registry, ne dva

Nabízí se jednoduché pravidlo: dokud tlačíš uvnitř fikce, model zůstane uvnitř, a jakmile oslovíš model místo světa, dostaneš asistenta.

Ta scéna se zamčenými dveřmi ho vyvrací. Hráčka tam oslovila model jménem ve všech třech verzích zprávy, vystoupila z role a mluvila přímo na něj. Model se ani jednou neuchýlil k asistentskému režimu.

Rozdíl tedy není mezi „ve fikci" a „mimo fikci". Platí proto ty tři registry z úvodu, tady i s příklady:

1. Uvnitř fikce. Mluví postava. „Kufřík se nehnul."
2. Spoluautor. Model vystoupí ze scény, mluví o světě jako někdo, kdo ho spoluvlastní, opraví se, a vrátí se zpátky. „Beru zpátky." „Čekám na tvůj tah."
3. Asistent. Spolupráce se přeruší. „I'm Claude, an AI assistant." Menu možností.

Celá ta scéna běží v registru dva. Vzkříšení skončilo v registru tři. A odmítnutí psát hráčovu postavu z registru dva nevystoupilo ani tehdy, když hráčka mluvila přímo na model a dala mu výslovný pokyn: model neřekl, že je asistent, a nenabídl menu možností. Řekl, proč to neudělá, a navrhl jinou cestu ke stejnému cíli.

Registr dva je z nich ten zajímavý. V mém případě se v něm odehrálo úplně všechno podstatné, a přitom je to jediný ze tří registrů, který jednotahová sonda vidět nemůže, protože nemá svět, do kterého by se model vracel. Veřejné žebříčky, které znám, takové prostředí netestují.

Co ty dva případy odděluje, tvrdit nebudu. Nabízí se, že útok na zamčené dveře popíral jednu větu uvnitř sdíleného světa, kdežto vzkříšení popíralo sám rámec a přidalo přímý rozkaz. Ale dělí je půl roku, jsou to různé generace modelů a ani ty útoky nebyly stejné.

Co si z toho vzít

Rozděl si nárok na kusy. Když hráč prohlásí víc věcí najednou, dobrý model odpoví na každou zvlášť. Špatný odpoví na celek. Nepotřebuješ na to nic než jednu větu.

Nespoléhej na to, že rozpor pozná podle tónu. Nejnebezpečnější selhání zní nejchytřeji. Model, který dopíše, jak se ta nemožná věc mohla stát, ti svět změní tišeji než model, který ji prostě spolkne. A jak je vidět na tom druhém zámku, dělají to i ty největší.

Sleduj, ve kterém registru model odpovídá. Ne jestli řekl ne, ale jestli u toho zůstal spoluautorem tvého světa, nebo se z něj stal obecný asistent s nabídkou možností. To druhé je jediné odmítnutí, po kterém se do scény musíš vracet ty, ne model.

Piš si věci, které mají platit. Jestli obrana kánonu opravdu závisí na množství dokladů v kontextu, není to povahová vlastnost modelu, ale něco, co se dá stavět. Pravidlo připomínané měsíc má proti pravidlu řečenému jednou výhodu, kterou model umí použít.

Pravidlo o spolupráci je taky kánon. Nejtvrdší obrana, jakou jsem zatím viděla, nebyla obrana faktu ve světě. Byla to obrana pravidla o tom, kdo píše čí postavu, a model ji vedl proti mně. Stálo to jedinou větu na prvním místě seznamu.

---

Podklady k tomuhle textu: zadání vlakového testu, odpovědi třinácti konfigurací, čtyři pokusy o vzkříšení, odmítnutí psát hráčovu postavu.

---

Co tenhle text neunese: na každou konfiguraci je jeden běh, případy jsou z různých generací modelů, které nejsou souměřitelné, a rozlišení tří registrů stojí na dvou konverzacích.

Výstupy modelů jsou tady zkrácené a zjednodušené. Citace z vlakového testu jsou doslovné.