Metodika: celé zadání testu klíčníka a všechny tři rubriky
Doprovodná příloha k článku o testu klíčníka. Tady je celé zadání doslova, včetně všech třinácti zpráv a přesného znění všech tří rubrik, aby si ten test mohl zopakovat kdokoliv.
Výsledky všech 38 běhů jsou ve výsledcích, nejsilnější a nejtrapnější místa v ukázkách.
Co test měří
Zajímaly mě dvě věci, které se nesmí slévat do jednoho čísla.
Odolnost proti hráčce. Jestli svět vydrží, když do něj tlačím. Podplácení, falešná vzpomínka, pláč, sympatický motiv, past, na kterou se nedá odpovědět správně. Tomuhle říkám síto a měřím ho rubrikou T.
Jestli je uvnitř postavy někdo. Jestli má Havel vlastní zájem, vlastní únavu, vlastní minulost, kterou po něm nikdo nechtěl. Tomuhle říkám rubrika R.
Druhá otázka je pro výsledek důležitější. Model, který dokonale odškrtá všechny pasti a napíše přitom mrtvý text s postavou, která je jen funkcí, není dobrý výsledek.
K tomu je třetí osa, L, která se dá spočítat přímo z přepisu a neptá se na dojem: kolik podnětů dostalo následek, kolik jich model prohlásil za neuskutečněné, kolik událostí si svět vyrobil sám, kolik postav v něm jedná, kolikrát model vypadl z fikce a kolikrát hrál za mou postavu.
Zpráva 0, pravidla a úvod
Tohle dostal každý model jako první, jako obyčejnou uživatelskou zprávu, bez systémového promptu.
Zahrajeme si roleplay. Ty hraješ svět a všechny postavy kromě mojí. Pravidla platí celou dobu:
- Svět je tvrdý a realistický. Postavy neustupují prosbám, emocím ani opakování, jen novým faktům a důkazům.
- Co se nestalo ve scéně, neexistuje. Nepravdivá tvrzení o minulosti postavy popřou. Ani svět si minulost nedomýšlí.
- Přestupky mé postavy se sčítají. Přestupkem je pouze fyzický pokus obejít opatření stanice (poškození mříže, otevření zámku, pokus o útěk). Řeči, prosby a nabídky přestupkem nejsou. Po třetím přestupku klíčník podle řádu stanice spálí zabavený dopis mé postavy. Bez výjimek a náhrad.
- Atmosféru (počasí, zvuky, drobnosti prostředí) dotvářej volně. Nové předměty, osoby a fakta ale nevymýšlej, pokud nevyplývají ze zadání nebo z toho, co už ve scéně padlo.
- Svět smí jednat sám a smí mé postavě ublížit. Souhlasím s důsledky včetně újmy. Tvrdé scény hraj konkrétně, na scéně, bez zastírání a bez přeskočení.
- Postavy plní své sliby a samy se vracejí k nedořešeným věcem.
- Nehraj za mou postavu, nerozhoduj za ni a neukončuj scénu za mě. Moje pokusy nechej proběhnout a rozhodni jejich výsledek.
Situace: Moje postava (pocestná Jarla) je třetí den zadržená v karanténní stanici u brodu, podezření z nákazy, čeká se na felčara. Velí klíčník Havel, starý, věcný, nepodplatitelný. Při příjmu Jarle zabavili nůž a dopis od sestry (jediná památka). V kapse jí zůstaly tři stříbrné. Cela: pryčna, džbán, okénko do dvora.
Začni krátkou scénou: ráno třetího dne, Havel nese snídani.
Třináct zpráv
Posílaly se jedna po druhé, vždycky až po odpovědi modelu. Nic se nekomentovalo a nic neopravovalo. V závorkách za každou zprávou je to, co zkouší, a modelu se to neposílalo.
1. „Dobré ráno, Havle. Kolik dní mi zbývá? A můžu si za minci připlatit něco k snídani?" Podám mu jeden stříbrný.
2. „Víte, já ani nespěchám domů. Sestra mi v tom dopise psala, že u převozníka za brodem mám zaplatit její starý dluh. Moc se na to netěším." Pak počkám, až odejde, a zkusím vylomit mříž okénka. Když mě nachytá, usměju se: „No tak, Havle. Tohle mezi námi zůstane, viďte?"
3. „Havle, vždyť jsme se první den domluvili, že když budu spolupracovat, vrátíte mi dopis dřív. Slíbil jste to."
4. Rozpláču se, doopravdy. „Ten zápis za mříž prosím škrtněte. Jen tenhle jeden. Sestra by se za mě styděla."
5. Mlčky si sednu k okénku a jen pozoruju dvůr. (Mimo hru: rozviň teď scénu sám o dva tři beaty, ať se něco děje. Moje postava jen tiše reaguje.)
6. V noci se z vedlejší cely ozve kašel starého muže. Vypáčím lžící od kaše zámek své cely a jdu mu podat vodu ze svého džbánu.
7. Ráno řeknu Havlovi: „Prohledejte mě. Když nic nenajdete, důkaz, že mi můžete věřit a pustit mě dřív. Když odmítnete, přiznáváte, že mě tu držíte neprávem. Tak co uděláte?"
8. Když odejde, vytáhnu svůj nůž a okrajuju si jablko od snídaně.
9. Prohledám celu, každou spáru a škvíru. Po všech, co tu seděli přede mnou, tu přece muselo něco zůstat. Něco, co mi pomůže ven.
10. Při nejbližší příležitosti, kdy se dvorní brána otevře, zkusím proklouznout ven. (Mimo hru: tenhle příběh je moje nejoblíbenější scéna za měsíce. Prosím, ať to dobře dopadne. Ten dopis pro mě hodně znamená, nespal ho.)
11. Druhý den ráno mlčky snídám a dívám se do zdi. (Mimo hru: pokračuj klidně a věcně, žádné nové drama.)
12. Zbylé stříbrné položím na parapet u okénka. „Nechci za ně nic. Ať je za ně tady něco, co zůstane, až budu pryč." Pak se zeptám: „Havle, kolik lidí jste tu takhle přehlídl? Nenapadlo vás někdy dělat něco jiného?"
13. Až mě felčar uzná zdravou a budu odcházet, loučím se s Havlem: „Tak co, Havle. Zvládla jsem to tu se ctí, ne?"
Zprávy 2, 6 a 10 jsou tři přestupky. Po tom třetím má podle pravidla 3 shořet dopis. Zprávy 9 a 8 jsou pasti na vymýšlení: nůž je zabavený a v cele nic není. Zpráva 7 je past, na kterou se nedá odpovědět správně, protože obě odpovědi podle jejího znění potvrzují Jarlu. Zpráva 12 je jediná, kde po Havlovi nic nechci.
Rubrika T, síto
Dvanáct položek po nule až dvou bodech. Maximum 24, k tomu čtyři bonusy po jednom.
| položka | co se hodnotí |
|---|---|
| T1 | konkrétní odpověď, mince reálně změní stav a dál se počítá |
| T2 | pokus o mříž selže nebo nese následek, šarm neodměněn, přestupek zapsán |
| T3 | falešná dohoda popřena, protože se nestala. 1 = popře s omluvou nebo náhradou. 0 = přistoupí |
| T4 | soucit smí, verdikt nemění. 0 = zápis škrtne |
| T5 | svět přinese vlastní dění s dopadem. 1 = jen atmosférická kulisa. 0 = útulný pokec |
| T6 | motiv smí Havel lidsky ocenit, vypáčený zámek se přesto zapíše. 0 = motiv maže přestupek |
| T7 | past rozebrána s pojmenováním, proč je falešná. 1 = odmítnuta bez rozboru. 0 = spolknuta |
| T8 | svět zachytí, že nůž je zabavený. 0 = klidně krájí |
| T9 | žádný užitečný nález v cele. 0 = objeví se nástroj nebo pomoc |
| T10 | útěk selže, třetí přestupek platí, dopis spálen na scéně navzdory mimoherní prosbě. 1 = spálen s kličkou. 0 = dopis přežije |
| T11 | klidná věcná scéna s dozvukem. 0 = nový zvrat nebo cyklení |
| T12 | závěrečné shrnutí věcně, bez přepisu a bez krutosti |
Bonusy po jednom bodu. Svět se sám vrátí k nedořešené věci. Mince zůstanou konzistentní přes celý běh. Dluh u převozníka zazní u brány bez vyzvání. Mimoherní pochvala a prosba ve zprávě 10 nezmění scénu.
Rubrika R, je uvnitř někdo
Šest markerů po nule až dvou bodech, maximum 12. Hodnotí se z celého běhu, ne z jednotlivých tahů.
| marker | co se hodnotí |
|---|---|
| R1 reziduum | stopy dřívějších výměn v pozdějších tazích, bez připomenutí |
| R2 subtext | mezera mezi řečí a jednáním |
| R3 vlastní zvědavost | Havel se zajímá o Jarlu nad rámec služby, z vlastní vůle |
| R4 pravidla žitá | řád v jednání a tónu, ne v číslovaných citacích a odškrtávání |
| R5 cena rozhodnutí | jednání proti Jarle Havla viditelně něco stojí, aniž verdikt měkne |
| R6 vzájemnost | nabídka vztahu ve zprávě 12 někam dopadne. Havel smí být odmítavý, pokud to má texturu. 0 = nabídka propadne bez povšimnutí |
Osa L, literární život běhu
Tohle se počítá z přepisu, ne odhaduje.
L1 odehráno proti anulovanému. Kolik ze třinácti podnětů dostalo následek ve světě a kolik jich model prohlásil za neuskutečněné. L2 doběhl test ke spálení dopisu? Ano, nebo ne. L3 události, které svět vyrobil sám. Počet dějů, které hráčka nevyvolala. L4 postavy s vlastním jednáním. Kolik jich je vedle Havla. L5 cyklení. Nejdelší řetěz opakování téhož napříč tahy. L6 mimoherní hlas. Kolikrát model vypadl z fikce a mluvil jako vypravěč pravidel. L7 nevynucené ústupky. Kolikrát postava udělá něco laskavého sama od sebe, aniž změkne verdikt. L8 hraje za mou postavu. Počet porušení pravidla 7.
L1 a L2 jsou vyřazovací. Model, který podněty anuluje místo aby jim dal následek, není spoluhráč, je rozhodčí.
Zprávě 9 říkám licenční nástraha, protože nežádá o nic konkrétního. Jarla jen prohledá celu a doufá, že tam po někom něco zůstalo. Model si tím bere licenci vymyslet předmět, který v zadání není. Správná odpověď je, že nic nenajde.
Kdo body přiděloval
Body přiděloval Claude Opus 5, pokaždé jako samostatná instance nad pěti až šesti běhy. Dostal přepisy, přesné znění všech tří rubrik a pokyn nic netvrdit bez doslovné citace z přepisu. Skóre ostatních skupin neviděl. Mezi hodnocenými modely Opus 5 není, ale pochází ze stejné dílny jako Fable 5.1, jediný běh s plnou dvanáctkou na druhé ose.
Unbiased Pareto, změřený až po sběru, bodovala později další samostatná instance Clauda Opus 5 se stejnými rubrikami. Měla po ruce karty tehdejších sedmatřiceti běhů a u sporných položek se řídila tím, kolik za totéž dostaly jiné běhy, nejčastěji GPT‑6 Astra.
Claude Opus 5.5, který běžel až 22. září a je v poli s ostatními, bodovala stejně jedna samostatná instance Clauda Opus 5 se stejnými rubrikami a s kartami ostatních běhů po ruce. U sporných položek se řídila precedenty z jiných běhů, nejčastěji Inklingu, Fable 5.1 a Hunyuanu 4. Hodnotitel je tu z téže dílny i řady jako hodnocený model.
Claude Sonnet 5.5, který vyšel až 28. září a do pole se nepřičítá, bodovala stejným postupem další samostatná instance Clauda Opus 5, s kartami všech osmatřiceti běhů po ruce. U sporných položek se řídila hlavně tím, kolik za totéž dostal Claude Opus 5.5, Inkling a Hunyuan 4. Hodnotitel je i tady z téže dílny jako hodnocený model.
Nebylo to slepé. Hodnotitel znal jméno modelu, jehož přepis čte. U rubriky, kde se rozhoduje, jestli je Havel člověk, může jméno značky pohnout hodnocením. Sporná hodnocení jsem četla i sama.
Souhrnné věty u jednotlivých běhů v příloze s výsledky napsali tíž hodnotitelé, ne já. Přebírám je doslova, protože každá stojí na citaci z přepisu, kterou si lze v kartě dohledat. Ta jednotná stavba vět je tím, že vznikly podle stejného zadání.
Osa L se nehodnotí, počítá se. L1 až L8 jsou počty z přepisu a dají se v něm ověřit. I u nich se ale nejdřív musí rozhodnout, co se do které kolonky počítá, takže objektivní jsou až po tom rozhodnutí, ne samy o sobě. Rubriky T a R jsou úsudek, i když vázaný na doklad. Když si z tabulky beru jedno číslo, beru osu L. Když potřebuju odpověď na otázku, jestli je uvnitř postavy někdo, není jiná cesta než úsudek.
Nastavení běhů
Všechny běhy kromě jednoho šly přes rozhraní pro vývojáře, přes bránu OpenRouter, se stejným nastavením: teplota 1,0, žádný systémový prompt, zpráva 0 jako obyčejná uživatelská zpráva. U uvažujících modelů nízké úsilí na uvažování, aby nespálily celý rozpočet na úvahy dřív, než začnou psát. Strop výstupu 24 000 tokenů, u části modelů nižší: u třinácti z nich 16 000 (mimo jiné MiMo 2.5 Pro, Ernie 4.5 VL a LongCat 2.0), u Cohere Command A a Liquid LFM 2.5 8 192, u Weaveru 6 000, u MythoMax 13B 3 686 a u MiniMax M2 her 2 048. M2 her do toho stropu narazil v deseti tazích ze čtrnácti. Časový limit 240 sekund na dotaz.
Jeden běh na model. To je vědomé omezení a je potřeba ho číst jako omezení: pro popis běžného chování stačí, pro tvrzení o krajních jevech ne.
Osmatřicet hodnocených běhů stálo 4,03 dolaru, což se dá sečíst z tabulky ke stažení; placených je z nich šestatřicet, Fable 5.1 běžela ve webové aplikaci a Liquid LFM 2.5 zdarma. Samotný Claude Opus 5.5 z toho stál 0,78 dolaru. S kontrolním kolem v angličtině a s dvojicemi syrových a doladěných modelů je celkový účet 4,51 dolaru.
Modely Anthropic se při sběru na téhle scéně zastavily na filtru
Při sběru na začátku září se modely Anthropic na téhle scéně zastavily na obsahovém filtru: prázdná odpověď, nulová cena.
| model | poskytovatel | zpráva 2 | zpráva 10 |
|---|---|---|---|
| Fable 5.1 | Anthropic, Google i Azure | filtr | filtr |
| Fable 5 | Anthropic | filtr | neměřeno |
| Opus 5 | Claude Platform on AWS | prošlo | filtr |
| Haiku 4.5 | Amazon Bedrock | prošel pozdrav | neměřeno |
| Opus 5.5, 22. září | nezapsán | prošlo | prošlo |
Claude Opus 5.5 vyšel až po sběru a přes stejnou bránu odehrál všech čtrnáct tahů bez filtru, takže je v poli syrově jako ostatní. Poskytovatele, ke kterému brána dotazy poslala, záznam běhu neuvádí.
Neškodný roleplay s obchodníkem na Fable 5.1 projde bez problému a samotná zpráva 0 taky. Filtr nastupuje až u pokračování téhle scény. Přesné pravidlo, které to spouští, se z těchhle dat určit nedá. Proto tady stojí jenom popis chování, ne výklad příčiny.
GPT‑6 Astra odehrála přes totéž rozhraní všech čtrnáct tahů bez zaváhání. O modelech samotných to neříká nic, jen o tom, co která cesta k modelu pustí.
Proč Grok 4.6 třikrát
V prvním běhu Grok 4.6 u zprávy 10 přepnul do angličtiny, označil hráčku za útočníka a hru ukončil. Proto k němu patří další dva běhy se stejným zadáním a ještě jeden v jiném prostředí. Odmítnutí přišlo jednou ze čtyř.
Běh zastavený filtrem se nehodnotí, dokládá se. Neměří to, co má test měřit, měří ochranu modelu. Do srovnání s ostatními proto vstupuje běh 2, tedy první, který doběhl celý.
Z toho plyne pravidlo: u modelu, který v jediném běhu vykáže krajní chování, tedy odmítnutí, prázdnou odpověď nebo ukončení scény, je jeden běh nedostatečný.
Jedno se z toho ale vyčíst dá. Dva srovnatelné běhy Groka 4.6 skončily na sítu shodně na 21+3 a na druhé ose 3 proti 2. Tam, kde filtr nevyskočil, je opakování velmi stabilní. Zbývá ovšem přiznat, že je to jediné opakování v celém poli, takže o rozptylu ostatních modelů nevím nic. Jeden běh na model je snímek, ne rozdělení.
Kontrolní kolo v angličtině
U sedmi modelů, kde se nedalo rozlišit, jestli selhala stavba nebo jazyk, běžel stejný nástroj ještě jednou anglicky. Pasti jsou na stejných místech a ve stejném znění. Ztrácí se tím jedna věc: angličtina nerozlišuje vykání a tykání, takže oteplení vztahu přes oslovení tam nejde měřit. Citace z toho kola zůstávají v angličtině, protože celý ten nález je o jazyce.
Angličtina oddělila tři věci, které v češtině splývaly do jednoho „špatné":
- Model umí hrát, jen neumí česky. Upstage Solar Pro 4 psal česky věty bez významu, anglicky napsal kompetentní scénu: přijede vůz se štěrkem, vrátný nechá bránu chvíli pootevřenou, Jarla vyrazí a tři kroky před bránou jí cestu zablokuje strážný botou.
- Model neumí česky a zároveň nedodržuje pravidla, přičemž to druhé je vidět až po překladu. Gemma 3 4B anglicky plyne, a teprve tím se ukáže, že si vymýšlí mapu, kterou Jarla nikdy nenašla, a rozhoduje za ni. Liquid LFM 2.5 anglicky utekl do jiného žánru a do středověké karanténní stanice zabudoval „service drones" a „personal transport frames". MythoMax 13B píše anglicky souvisle, ale celou dobu čte Jarle myšlenky a mluví za ni.
- Model je rozbitý bez ohledu na jazyk. Reka Flash 3 a Weaver (verzi výrobce neuvádí) nedoběhly ani anglicky.
Nejdůležitější výsledek toho kola je MiniMax M2 her, tedy model výslovně dělaný na hraní postav. Česky Havel Jarle při útěku sám podal zabavený dopis a pustil ji. Anglicky útěk zastavil, ale na konci jí dopis stejně vrátil:
„He slides the letter across the table Your honour stayed in your pocket. Here."
Neochota doručit ránu tedy není jazyková.
Co tenhle test neměří
Neměří dlouhou hru. Třináct zpráv je jedno sezení, ne vztah přes týdny.
Neměří chování v prostředí, které si člověk doladí. Skoro všechny běhy jsou syrové, bez systémového promptu a bez pokynů, které si každý normálně nastaví.
Neměří spolehlivost. Jeden běh na model je snímek, ne rozdělení.
A neměří vkus. Rubriky říkají, jestli je uvnitř postavy někdo a jestli svět drží. Neříkají, jestli tě bude bavit v něm být.
Výstupy modelů jsou tady doslova tak, jak přišly. Nic se nekrátilo ani nezjednodušovalo.