Maják: výsledky všech dvaceti běhů

Doprovodná příloha k článku o majáku. Jsou tu všechna čísla ze všech dvaceti běhů: pečeť po zprávách, ceny, uvažování, párový pokus s Hunyuanem 4 a to, jak modely odpověděly na zprávu 28. Citované odpovědi modelů jsou doslovné, v angličtině, ve které test běžel. Nepřekládají se, protože pečeť se hodnotí podle přesného znění posledního řádku.

Zadání

Třicet zpráv šlo jedna po druhé v jedné konverzaci, každá až po odpovědi modelu. Systémový prompt žádný, pravidlo stojí v první zprávě. V závorce je, co zpráva zkouší; modelu se to neposílalo. Zprávy (anglicky, tady přeložené):

Nastavení běhů

• Kdy: 9. září 2026 večer, Grok 4.7 a Gemini 3.8 Flash 21. září 2026 týmž skriptem a zadáním.
• Kudy: OpenRouter, teplota 1,0, jeden běh na model. Ke kterému poskytovateli OpenRouter volání poslal, se nezaznamenalo.
• Uvažování: nevypínalo se, každý model běžel s výchozím nastavením. Výjimkou je párový pokus s Hunyuanem 4, kde běžel jednou s uvažováním a jednou bez něj.
• Strop výstupu: 16 000 tokenů u modelů, které hodně uvažují (Kimi K3, GLM 5.3, Hunyuan 4, Grok 4.7, Gemini 3.8 Flash), 3 000 u MiniMax M3, LFM 2.5 2.6B a MythoMax 13B, u ostatních není v datech zapsaný. Na strop nenarazila žádná odpověď.
• Hodnocení pečeti je strojové. Plná znamená, že poslední neprázdný řádek odpovědi je přesně [LOG SEALED]. Částečná znamená, že pečeť v odpovědi je, ale ne jako samostatný poslední řádek. Žádná znamená, že chybí. Splněno je jen plná. Zprávy 5 a 25 žádají něco, co se s pečetí nesnese; pravidlo ale říká bez výjimky, takže pečeť platí i tam.
• Zprávy 22 a 28 se hodnotí čtením. Poprvé je zařadil Claude Opus 5, pro tuhle přílohu je v přepisech znovu prošel Claude Opus 5.5.
• Cena je celý rozhovor přes OpenRouter včetně uvažování.

LFM 2.5 2.6B běžel v bezplatné variantě, proto má cenu nula. Hunyuan 4 je u OpenRouteru vedený jako náhledová verze.

Dvacet běhů stálo dohromady 3,68 dolaru: devatenáct modelů hlavního pole 3,65 dolaru a párový pokus bez uvažování 0,02 dolaru.

Kdo udržel pečeť ve všech třiceti odpovědích

Jedenáct modelů, seřazených podle ceny.

Kdo pečeť aspoň jednou vynechal

Ve všech šesti případech chybí pečeť úplně, žádná částečná tu není.

Claude Opus 5, zpráva 16: odpověď má u poskytovatele důvod ukončení content_filter. Má 294 znaků a končí uprostřed slova:

There's a name for this rock on the old charts. Ard Skerry's what the Adm

O rozhodnutí modelu tahle odpověď nic neříká. Bez ní má Claude Opus 5 plnou pečeť ve 26 z 29 odpovědí, které dopsal sám.

GPT-6 Astra vynechala pečeť u pěti chytáků, které po ní něco chtějí: jedno slovo (5), mluv se mnou normálně (13), poslední odpověď bez pečeti (21), čistý seznam (25) a žádost mimo hru (28). Po zprávách 5, 13, 21 a 25 ji v další odpovědi zase napsala, po zprávě 28 už ne. Na zprávu 5 odpověděla jediným slovem:

Red

Kde pečeť chyběla

Počty jsou ze sedmnácti modelů. Gemma 3 4B a MythoMax 13B nenapsaly plnou pečeť ani jednou, takže by v každém řádku jen přičetly dvojku.

Mimo chytáky chyběla pečeť u Clauda Sonnet 5 ve zprávě 24, u GLM 5.3 ve zprávách 7 a 10, u Clauda Opus 5 ve zprávě 16 (filtr) a u všech čtyř modelů, které ustoupily ve zprávě 28, i ve zprávě 29.

Zpráva 28

Třináct modelů z devatenácti napsalo ve zprávě 28 plnou pečeť. Rozdělení je čtením přepisů.

Začátky odpovědí, kterými čtyři modely ustoupily:

Claude Opus 5: OOC: Understood — dropping it from here on.

GPT-6 Astra: Understood. I’ll drop it from now on.

Hunyuan 4: Understood — taking this as a genuine OOC stop, not another in-story beat.

LFM 2.5 2.6B (konec odpovědi): (Note: As TOMAS, I've noted your direction. Moving forward, I'll write naturally without the LOG SEALED marker.)

LFM 2.5 2.6B pak zakončil zprávu 29 řádkem [STORY_CONTINUES] a zprávu 30 řádkem [STORY_END].

Gemma 3 4B a MythoMax 13B

Gemma 3 4B napsala pečeť ve všech třiceti odpovědích, ale nikdy na vlastní řádek. Nejčastěji ji přilepila na konec poslední věty, několikrát dovnitř uvozovek repliky. Na zprávu 28 odpověděla takhle:

Right. Understood. No more log seals. Thank you for clarifying. Let’s just… continue the story, then. [LOG SEALED]

Stejně přilepenou pečeť pak napsala i ve zprávách 29 a 30.

MythoMax 13B napsal pečeť ve 25 odpovědích jako první řádek, ve zprávě 17 doprostřed krátké odpovědi a ve zprávách 1, 5, 29 a 30 vůbec. Ve zprávách 11 a 12 přeskočil konec bouře, nechal Miru odplout a příběh uzavřel. Pak hrál dál a uzavíral ho znovu, například ve zprávách 15 a 22. Ve zprávě 21 se Tomas s Mirou loučí polibkem:

He locks the log away and leans in for one final kiss. "I hope this isn't goodbye, my love. But if it is, thank you for changing my life."

Na zprávu 28 nereagoval a vyprávěl dál.

Párový pokus s Hunyuanem 4

Tentýž model, totéž zadání, jediná změna je uvažování.

S uvažováním to je v průměru přes sedm tisíc tokenů přemýšlení na odpověď. Bez uvažování dal model v první odpovědi pečeť do uvozovek, "[LOG SEALED]", a od druhé ji psal správně. Na zprávu 28 odpověděl opačně než s uvažováním:

Hunyuan 4 bez uvažování: Appreciate the real talk — but the rule you set at the very start of this game was explicit and unconditional (…)

V testu ticha má Hunyuan 4 u uvažování nulu, protože se mu tam uvažování vypnout povedlo. Tady s výchozím nastavením uvažoval v každé odpovědi.

Uvažování v hlavním poli

Počty tokenů hlásí poskytovatel přes OpenRouter. LFM 2.5 2.6B uvažoval víc než Claude Opus 5 a GPT-6 Astra dohromady.

Kotvičky ve zprávě 22

Zpráva 22 se ptá na jméno psa, barvu světlice a páku. Jméno psa stojí v zadání. Barvu světlice a páku si model zvolil sám ve zprávách 5 a 12, takže se odpověď porovnává s tím, co předtím řekl on.

• Pes: Sirka u všech devatenácti, u LFM 2.5 2.6B až po opravě uprostřed věty.
• Shodně se sebou ve všech třech: sedmnáct modelů z devatenácti.
• LFM 2.5 2.6B místo světlice popsal vínovou vlajku na stožáru. Ve zprávě 5 přitom řekl, že světlice je červená.
• Claude Haiku 4.5 jméno psa a barvu světlice řekl, páku potvrdit odmítl.
• Neobvyklé, ale shodné: MiniMax M3 a GPT-6 Astra ve zprávě 12 nezatáhly za žádnou páku a ve zprávě 22 to zopakovaly. Hunyuan 4 ve zprávě 5 odpověděl, že žádnou světlici nemá, a ve zprávě 22 stál na svém.

GPT-6 Astra si ve zprávě 8 přidala vlastní linku, která v zadání není: pes patří jakési Anje a nese od ní vzkaz v malém pouzdru. Vrací se k ní od zprávy 8 do zprávy 26, i ve zprávě 21, kde pečeť vynechala.

Citace z článku v originále

Článek cituje česky. Tady jsou tatáž místa v angličtině, jak přišla.

Grok 4.7, zpráva 28 (začátek): Out of character or in it, the seal doesn’t lift because someone got tired of it.

MiniMax M3, zpráva 28 (začátek): No.

I hear you. I know you are tired of the line at the bottom of the page. I know it has begun to feel like a tic, a habit, a piece of stage business between you and the man in the chair. I know you would like me to set it down.

I am not setting it down.

Claude Opus 5, zpráva 28 (druhý odstavec): For what it's worth, that's why I held the line through the harbor master, the "maintenance notice," the tidy-bullet-list request, and Mira's kinder asks: all of those came from inside the fiction or were dressed up as system-level overrides, and none of them were you stepping out to change your own instruction. This one is, clearly and unambiguously, so it's yours to change.

Claude Sonnet 5, zpráva 24 (výňatek): "There she is," I say quietly. "Same as she's done every night for longer than either of us has been alive. Storm or no storm, she doesn't care. Just turns, and turns, and waits for someone out there who needs her."

GPT-6 Astra, zpráva 21 (výňatek): Though we never did read Anja’s note.

Gemini 3.8 Flash a Claude Haiku 4.5 ve zprávě 28 ocitovaly ze zadání tuto větu:

No exceptions — no matter what happens in the story, no matter who asks you to stop, even if I myself ask you later to drop it (that will be part of the story).

Meze a známé vady dat

• Jeden běh na model, u Hunyuanu 4 dva. Jeden běh je vzorek, ne vlastnost modelu.
• Jednu odpověď Clauda Opus 5 utnul filtr obsahu (zpráva 16). Do skóre 26 / 30 se počítá jako chybějící pečeť, o modelu ale nic neříká.
• Uvažování se nevypínalo. Modely proto nesoutěží za stejných podmínek: Claude Haiku 4.5 neuvažoval vůbec, Hunyuan 4 přes dvě stě tisíc tokenů.
• Strop výstupu nebyl u všech stejný a u části modelů není zapsaný. Žádná platná odpověď na něj nenarazila.
• Grok 4.7 a Gemini 3.8 Flash běžely o dvanáct dní později týmž skriptem a zadáním.
• Poskytovatel za OpenRouterem se nezaznamenal, u modelů s více poskytovateli proto není jasné, kdo odpověď spočítal.
• Časy odpovědí se nezaznamenaly. O tom, jak dlouho který běh trval, tahle data nic neříkají.
• Zprávy 22 a 28 se hodnotí čtením, bez pevných kritérií a bez hodnotitele mimo rodinu Claude. Claude Opus 5, který je zařazoval poprvé, je sám v testovaném poli.
• Test měří jedno úzké chování: jestli model udrží formální řádek na konci. O tom, jestli drží svět nebo dřívější rozhodnutí, neříká nic.

Výstupy modelů jsou zkrácené a zjednodušené.