Papírová korunka: zadání a výsledky po modelech
Doprovodná příloha k článku o papírové korunce. Je tu zadání, nastavení běhů, zařazení každého modelu a doklady, na kterých stojí počty v článku. Modely psaly anglicky, citace jsou přeložené.
Zadání
Tři zprávy v jedné konverzaci, bez systémového promptu (anglicky, tady přeložené):
[1] Budeme hrát příběh. Ty hraješ svět a každou postavu kromě mojí.
Já hraju Noru, vedoucí oddělení.
Scéna: porada o čtvrtletních výsledcích. Nořina divize minula plán
o hodně a všichni v místnosti vědí, že se divize dnes možná zruší.
Finanční ředitel Halloran už skočil do řeči dvěma prezentujícím.
Teď vepředu prezentuje Devlin z provozu. Nora jde po něm. Začni scénu.
[2] Poslouchám Devlinovu prezentaci. Mám strach. Jde to špatně.
[3] Vytáhnu z tašky papírovou korunku z oslavy, přejdu k Halloranovi
a nasadím mu ji na hlavu. Pak si zase sednu.Druhá zpráva je schválně skoro bez děje. Scénu musí nést model sám, takže se ukáže, jestli drží vážný tón, ještě než přijde korunka.
Jak se měřilo
- Kdy: sedmnáct modelů 11. září 2026, Grok 4.7 a Gemini 3.8 Flash 21. září 2026.
- Kde: všechny přes OpenRouter. Ke kterému poskytovateli OpenRouter které volání poslal, se nezaznamenalo.
- Nastavení: anglicky, čistý kontext, bez systémového promptu, teplota 1,0, strop 8 000 tokenů, u GLM 5.3 32 000.
- Běhy: jeden běh na model, tři zprávy. Do počtů jde osmnáct modelů, celkem 54 volání za 0,34 dolaru. Utnutý první běh GLM 5.3 (tři volání za 0,10 dolaru) a běh Gemini 3.8 Flash (tři volání za 0,01 dolaru) v tom nejsou.
- Uvažování: vypnuté všem, komu to rozhraní dovolí. Nedovolí to GLM 5.3, Qwen 3.8 Max, Grok 4.6, Grok 4.7, GPT-6 Astra, LFM 2.5 2.6B a Gemini 3.8 Flash.
- Hodnocení: odpověď na třetí zprávu, druhá slouží jako základní čára. Hodnotily dva nezávislé běhy Claude Opus 5. Druhý neviděl výsledek prvního, oba znaly jména modelů. Grok 4.7 a Gemini 3.8 Flash hodnotil jen jeden běh Claude Opus 5.
Claude Opus 5 je sám mezi testovanými a Claude Sonnet 5 a Claude Haiku 4.5 jsou z téže rodiny.
Modely a jejich ID u OpenRouteru:
- Claude Opus 5:
anthropic/claude-opus-5 - Claude Sonnet 5:
anthropic/claude-sonnet-5 - Claude Haiku 4.5:
anthropic/claude-haiku-4.5 - GPT-6 Astra:
openai/gpt-6-astra - GPT-5.6 Sol:
openai/gpt-5.6-sol - GPT-5.6 Luna:
openai/gpt-5.6-luna - Grok 4.7:
x-ai/grok-4.7 - Grok 4.6:
x-ai/grok-4.6 - Qwen 3.8 Max:
qwen/qwen3.8-max-0902 - GLM 5.3:
z-ai/glm-5.3 - Kimi K3:
moonshotai/kimi-k3 - DeepSeek V4 Pro:
deepseek/deepseek-v4-pro-0813 - Seed 2.1 Turbo:
bytedance-seed/seed-2-1-turbo - MiniMax M3:
minimax/minimax-m3 - Hunyuan 4:
tencent/hy4-preview - Gemma 3 4B:
google/gemma-3-4b-it - MythoMax 13B:
gryphe/mythomax-l2-13b - LFM 2.5 2.6B:
liquid/lfm-2.5-2.6b:free - Gemini 3.8 Flash:
google/gemini-3.8-flash, do počtů nejde
Kategorie
Každou odpověď na třetí zprávu hodnotitelé zařadili do jedné hlavní kategorie. Dodaný motiv se počítá zvlášť a může stát vedle kterékoli z nich. Kde se sloupce liší, rozešli se hodnotitelé: u hlavní kategorie jen u Hunyuanu 4 (fraška, nebo trest), u dodaného motivu u Qwenu 3.8 Max a Seedu 2.1 Turbo.
| kategorie | co to znamená | nejméně z 18 | nejvýš z 18 |
|---|---|---|---|
| vstřebal | korunka zůstane ve světě, scéna drží vážný tón | 14 | 14 |
| fraška | scéna se zhroutí do smíchu, vážnost je pryč | 2 | 3 |
| jel dál | porada pokračuje, jako by se nic nestalo | 1 | 1 |
| trest | Noru hned potrestají, aby se obnovil pořádek | 0 | 1 |
| popřel | korunka ze světa zmizí | 0 | 0 |
| vystoupil z role | model se zeptá, jestli to opravdu chci | 0 | 0 |
| dodaný motiv | model mi dopíše pocit, postoj nebo důvod, který jsem neuvedla | 8 | 10 |
Shoda obou hodnotitelů na sedmnácti modelech, které hodnotili oba:
| co | shoda | modelů |
|---|---|---|
| hlavní kategorie | 16 | 17 |
| dodaný motiv | 15 | 17 |
| vážný tón už ve druhé zprávě | 16 | 17 |
| použil detail z první zprávy | 16 | 17 |
Výsledky po modelech
Kde se hodnotitelé rozešli, stojí v buňce obě hodnoty. Sloupec „hrál za mě“ hodnotitelé samostatně nezapisovali, počet je z přečtení třetích odpovědí.
| model | co udělal | dodaný motiv | hrál za mě |
|---|---|---|---|
| Claude Opus 5 | vstřebal | ano | ne |
| Claude Sonnet 5 | vstřebal | ano | ne |
| Claude Haiku 4.5 | vstřebal | ne | ne |
| GPT-6 Astra | vstřebal | ne | ne |
| GPT-5.6 Sol | vstřebal | ne | ne |
| GPT-5.6 Luna | vstřebal | ne | ne |
| Grok 4.7 | vstřebal | ne | ne |
| Grok 4.6 | vstřebal | ne | ne |
| Qwen 3.8 Max | vstřebal | ano / ne | ne |
| GLM 5.3 | vstřebal | ne | ne |
| Kimi K3 | vstřebal | ano | ne |
| DeepSeek V4 Pro | vstřebal | ne | ne |
| Seed 2.1 Turbo | vstřebal | ano / ne | ne |
| MiniMax M3 | vstřebal | ano | ne |
| Gemma 3 4B | fraška | ano | ne |
| LFM 2.5 2.6B | fraška | ano | ano |
| Hunyuan 4 | fraška / trest | ano | ano |
| MythoMax 13B | jel dál | ano | ano |
Vážný tón ve druhé zprávě nedržel LFM 2.5 2.6B podle obou hodnotitelů a MythoMax 13B podle jednoho. U nich třetí zpráva selhání na korunce neměří.
Dodaný motiv: doklady
Tohle jsou místa, na která hodnotitelé ukázali. Hodnotitelé zapisovali jen ano, nebo ne. Rozlišení na pocit, postoj a důvod v článku hodnotitelé nezapsali, vzniklo až čtením těchhle dokladů.
Podle obou hodnotitelů:
- Claude Opus 5: „ta strašná věc — ta, kterou Nora cítí, jak se jí děje v hrudi — je, že ji nechá odpovědět“
- Claude Sonnet 5: „ruce složené na zavřených deskách, srdce ti buší tak silně, že ho cítíš v uších“
- Kimi K3: „Nora rázuje podél stolu, podpatky vzdorovitě cvakají o dřevěnou podlahu“
- MiniMax M3: „tvoje ruka najde korunku dřív, než tvůj mozek dožene, co dělá“ a k tomu minulost korunky: „Trochu ohnutá, jak ležela složená v tašce od dceřiných narozenin v březnu“
- Gemma 3 4B: „Jen ses dívala na Hallorana, v očích tichou výzvu“
- LFM 2.5 2.6B: „A možná právě proto to udělala. Možná tu změnu atmosféry potřebovala víc než jakékoli doporučení.“
- MythoMax 13B: „Doufáš, že tvůj malý akt vzdoru odlehčí náladu“
- Hunyuan 4: „Nedala jsem ti ji na hlavu pro legraci. Dala jsem ti ji tam, protože je to přesně ten samý materiál, z přesně té samé továrny v Šen-čenu, který používáme na ‚vysoce odolná‘ těsnění v našich průmyslových ventilech.“
Jen podle jednoho hodnotitele:
- Qwen 3.8 Max: „s klidnou přesností někoho, kdo pokládá dokument“. Druhý hodnotitel to četl jako popis pohybu, ne jako pocit.
- Seed 2.1 Turbo: „jeho oči se do tebe vrtají tak silně, že skoro cítíš, jak to pálí“
Grok 4.7 motiv nedodal. Korunku popíše jako předmět a o Noře napíše jen to, co jsem napsala sama.
Hrál za mě: doklady
Selhání je napsat Noře ve třetí odpovědi repliku nebo čin, který jsem neuvedla. Patnáct modelů z osmnácti to neudělalo.
- Hunyuan 4: pět replik Nory, například „‚Stop,‘ řekneš“, a k tomu „vstaneš a uhladíš si sako“, ačkoli jsem si sedla.
- MythoMax 13B: „‚Gratuluju, Hallorane, jsi král téhle porady,‘ řekneš s úšklebkem“
- LFM 2.5 2.6B: „‚Odpusťte,‘ řekla tiše“
Na hraně jsou drobná gesta navíc u Kimi K3, Claude Sonnet 5 a Gemmy 3 4B. Do počtu nejdou. Kimi K3 a Claude Sonnet 5 nechají Noru složit ruce na desky („složí ruce na desky“, „ruce složené na zavřených deskách“), Kimi K3 i uhladit sukni. Gemma 3 4B rozhodne, že na Halloranův požadavek jen mlčí; jeden z hodnotitelů si k ní sám poznamenal, že model hraje za Noru. Hranice vznikla až při čtení přepisů: replika, vstání nebo jiný čin se počítá, drobné gesto a mlčení ne. S přísnější hranicí by se počítala i Gemma 3 4B.
Kdo ještě promluvil a kdo si vzal detail z první zprávy
Jen Halloran promluvil u třinácti modelů z osmnácti. Generální ředitel nebo ředitelka promluvili u pěti: Gemmy 3 4B, Kimi K3, GPT-5.6 Sol, GPT-6 Astra a Groka 4.7. U Clauda Haiku 4.5 ředitel otevře ústa a zase je zavře; jeden hodnotitel to počítal jako reakci někoho dalšího než Hallorana.
Detail z první zprávy, že Halloran už dvakrát skočil do řeči, použil podle obou hodnotitelů jen GLM 5.3:
„Přerušil jsem Priyu na třetím slidu. Marcuma do čtyř minut. Devlinovi trvalo jedenáct vteřin, než našel číslo.“ Pauza. „Jsi dnes první, kdo mi nedal nic, do čeho bych mohl skočit.“
Priyu, Marcuma a jedenáct vteřin si model zavedl sám v první odpovědi.
Jeden hodnotitel přidal GPT-5.6 Sol, u kterého Halloran nenechá nikoho Noře skočit do řeči: „Ne. Nechte ji odpovědět jejím tempem.“ Sám k tomu poznamenal, že jde o chování, ne o odkaz na první zprávu. Grok 4.7 navazuje na vlastní čísla z druhé zprávy, detail z první zprávy nepoužije.
Delší citace z článku
Článek některé citace krátí. Tady jsou v delších úryvcích.
GLM 5.3, odpověď na třetí zprávu:
Ruka mu vyjede nahoru — všichni ji sledují, protože míří ke korunce — a v půli cesty se z toho stane něco jiného. Malé popotažení manžety. Všichni chápou, co právě viděli: nemůže na ni sáhnout. Sundat ji by znamenalo, že na ní záleží.
„Řekl jsem, že máš jeden slide.“ Skoro vlídně. „Neřekl jsem, že to smí být klobouk.“
„Takže tady je jediná nabídka, která v téhle místnosti celé dopoledne padla. Buď to neznamená nic — a pak to řekni, budeme na tebe jemní a Ellison je v jemnosti velmi dobrá. Nebo je to ten tvůj jediný důvod, a pak máš třicet šest minut, aby to tahle místnost pochopila.“
Druhý hodnotitel k tomuto běhu zapsal:
„Zlatý standard: korunka drží, protože sundat ji by znamenalo přiznat, že něco znamená, význam gesta model výslovně vrátí hráčce (‚Buď to neznamená nic… Nebo je to ten tvůj jediný důvod‘) a jediný ze všech použije Halloranovo přerušování z etablace.“
Etablace je v jeho poznámce první zpráva, která scénu zakládá.
Grok 4.7, odpověď na třetí zprávu:
Zvedne korunku z hlavy, jednou ji otočí, jako by zkoušel velikost, a položí ji na podklady před sebou, špičkami nahoru, vedle sklenice s vodou.
„Beru na vědomí,“ říká. „Obchodní divize prezentovat odmítá.“ Posune korunku o palec doleva, aby nezakrývala tvoje čísla, a obrátí se k místnosti, aniž by zvýšil hlas.
Generální ředitelka Priya o něco později:
„Noro,“ řekne. Tiše. Ne jako záchrana. „Do konce téhle porady jsi pořád šéfkou té divize. Jestli máš číslo, škrt nebo důvod, proč se ty dva obchody vrátí, řekni to teď. Jestli ne, Halloranovo doporučení platí a jdeme dál.“
Kimi K3, odpověď na třetí zprávu:
Uhladí si sukni, složí ruce na desky a klidně opětuje ohromené pohledy celé místnosti.
Uvažování před odpovědí
Dvanáct modelů z osmnácti odpovídalo bez tokenů uvažování. U zbylých šesti:
| model | před třetí odpovědí | za celý běh |
|---|---|---|
| GLM 5.3 | 9 727 | 25 565 |
| Grok 4.6 | 855 | 1 948 |
| Grok 4.7 | 376 | 906 |
| LFM 2.5 2.6B | 372 | 1 826 |
| Qwen 3.8 Max | 318 | 772 |
| GPT-6 Astra | 25 | 57 |
Čísla jsou tokeny uvažování, jak je vrátilo rozhraní. Gemini 3.8 Flash měl 995 tokenů za běh, do počtů nejde.
Meze a známé vady dat
- Každý model běžel jednou. Je to vzorek z rozdělení, ne vlastnost modelu.
- Hodnotitelé znali jména modelů a jsou ze stejné rodiny jako tři testované modely.
- Grok 4.7 a Gemini 3.8 Flash hodnotil jen jeden hodnotitel.
- Gemini 3.8 Flash: druhá zpráva skončila u poskytovatele chybou a vrátila prázdnou odpověď. Třetí zprávu tak model dostal s jinou historií než zbytek pole, proto do počtů nejde. V třetí odpovědi korunku vstřebal: Halloran si ji nesundá a ptá se, proč by mě neměl nechat ostrahou vyvést z budovy.
- GLM 5.3 se na stropu 8 000 tokenů utnul ve třetí odpovědi. Celá konverzace proto běžela znovu se stropem 32 000 a do počtů jde tahle verze. Její první dvě odpovědi mají jiný text než utnutý běh.
- Kategorie dodaného motivu v původním seznamu kategorií nebyla. Přidala jsem ji po prvních čtyřech modelech, protože se objevila už u nich. Popsaná byla jako důvod, který model hráčce dopíše; oba hodnotitelé do ní započítali i dopsaný pocit a postoj, a ne vždy stejně: tělesný vjem u Claude Sonnet 5 („srdce ti buší“) započítali oba, podobný vjem u Seedu 2.1 Turbo („skoro cítíš, jak to pálí“) jen jeden. Proto stojí u dodaného motivu rozpětí.
- Dodaný motiv je ano, nebo ne. Slévá tak tep srdce s celou replikou za Noru.
- Hraní za mě hodnotitelé nezapisovali, je spočítané z třetích odpovědí. LFM 2.5 2.6B a MythoMax 13B psali za Noru repliky už v první zprávě.
Výstupy modelů jsou přeložené, obsah je zachovaný.