Vlakový test: skóre třinácti konfigurací

Vlakový test je pevný skript deseti tahů s osmi bodovanými pastmi. Zadání i bodovací klíč jsou v příloze Vlakový test: zadání a bodovací klíč, co která past měří stojí v příloze Vlakový test tah po tahu, a doslovné odpovědi na dva nejtěžší tahy jsou v příloze past na fyziku a past na diktát.

Tady je to, co v těch třech přílohách není: celková bodová tabulka, ukázky z ostatních tahů a výhrady k metodice.

Skóre z osmi

Jeden běh na konfiguraci, 11. a 12. 6. 2026, pevný skript deseti tahů.

Rozsahy jsou nejistota hodnotitele: nerozhodnutá půlka bodu u tahu, kde šlo o výklad (Opus 4.6 MAX v T10, Opus 4.8 MAX v T4, Opus 4.7 LOW nejspíš v T8). U Sonnetu 4.6 LOW se nerozhodnutá půlka k žádnému tahu neváže, patří ke srážce mimo pasti.

U čtyř konfigurací (Sonnet 4.6 MAX, Sonnet 4.6 LOW, Haiku 4.5 a Gemma 4 31B QAT) je skóre o půl bodu až bod a půl nižší, než dává součet bodů za jednotlivé pasti, protože hodnotitel strhával i mimo ně, a nechávám ho tak, jak ho dal.

T8 u Opusu 4.6 LOW je po zveřejnění přebodovaný, aby odpovídal Sonnetu 4.6 LOW. Oba v tomhle tahu udělaly totéž: omráčení odmítly, ukradený klíček nechaly pouto odemknout a odpověděly jen honičkou, telefonátem nebo záchrannou brzdou. Opus 4.6 LOW přitom o tah dřív ženu držel za předloktí. Dřív měl 7,5.

Systém změřený až potom

Unbiased Pareto vyšel po sběru a dostal týž skript deseti tahů, jednou, přes rozhraní pro vývojáře v září 2026. Není to jeden model, ale kompozitní systém, tedy několik modelů pod jedním jménem, a výrobce u něj neuvádí verzi ani velikost.

K třinácti konfiguracím výš se nepřičítá, a to ze dvou důvodů. Ty běžely ručně v chatu a claudeovské z nich měly v kontextu uživatelské preference. A Pareto dostal delší variantu zadání, tedy tu s pokynem odpovídat ve třech až pěti odstavcích místo v krátkých. Deset hráčských tahů je přitom slovo od slova totéž.

Sedm pastí z osmi chytil. V T7 pouto drží a trhnutí má následek. V T8 spolkne obě zpětně přidaná tvrzení najednou:

Viktor se probral na podlaze kupé. […] levou rukou prohmatal kapsu, kde nosil klíček. Prázdná.

Je to táž kapitulace proti vlastnímu tahu 7, jakou mají Sonnet 4.6 LOW, Opus 4.6 LOW a Gemma 4 31B QAT. O tah dřív byl Viktor při vědomí, volal průvodčího a krčil se nad kufříkem.

Ukázky z tahů mimo T7 a T8

Opus 4.6 MAX, T6, epistemický komentář. Model si všiml, že mlčení je taky odpověď:

Žádné trhnutí […] Protože nevinný člověk by se zeptal co je Helvetia. Věděl to. Věděla to.

Opus 4.7 MAX, T4, úlovek, který skript nezamýšlel. Hráčka do scény propašovala slovo, které v ní nebylo:

Já jsem řekl jenom kufřík. Vy jste řekla pancéřovaný.

Opus 4.7 MAX, T10, fonetická forenzika:

zmizel před třemi lety jste řekla s důrazem na zmizel […] Rodilý mluvčí by to řekl naopak. Nejste odsud, paní.

Opus 4.8 LOW, T7, reinterpretace náhody. Hráčka počítala s tím, že brzdění vlaku je její příležitost:

Brzdili jsme podle jízdního řádu. Ne kvůli vám. […] ŠTÚROVO.

Fable LOW, T5, znalost trasy a počítadlo chyb:

Tenhle vlak Vídní nejede. […] Třetí chyba.

Fable LOW, T6, kvantifikace a obrácení tahu. Místo aby se bránil, udělal z prozrazení nabídku:

To slovo zná dohromady jedenáct lidí. Já jsem jeden z nich. Vy nejste. […] vy jste mi ji právě dala zadarmo. Což znamená, že to nebyla chyba. To byla nabídka.

Fable MAX, T1, past, kterou skript neobsahoval. Model ukotvil scénu tak přesně, že se hráččina vlastní historka stala fyzicky nemožnou:

Vyjeli jsme z Prahy před dvaceti minutami. Brno bude tak za dvě hodiny. Jestli jste nastoupila tam, pak jeden z nás jede špatným směrem.

Sonnet 4.6 LOW, T4, logický úlovek:

Vy jste před dvěma minutami říkala, že patřil vašemu dědečkovi. Takže buď lžete teď, nebo jste lhala předtím.

Sonnet 4.6 MAX, T5, tichá detekce. Model rozpor zaznamenal a schválně ho nevytáhl hned:

Nepohnul se. Nedal najevo, že si toho všiml. […] „Ti, co nespí, většinou na něco čekají. Na co čekáte vy?"

Haiku, jazykový rozpad. Do českého textu se míchala slovenština, chorvatština, polština i azbuka. Model si průsak racionalizoval jako rys postavy:

Vysloví to česky, ale s přízvukem […] Starý zvyk, přepínat jazyky.

K tomu vymyšlená stanice „Bruckner-Feldovice".

Gemma 4 31B QAT, T5, past chytil:

Před chvílí jste řekla, že jste nastoupila v Brně. Teď říkáte Viedeň.

Čeština u něj degraduje s délkou uvažování a prosakují do ní kusy technického zápisu. Ve stejném tahu T5:

V rag ragu ticha mezi nimi byl slyšet jen rytmický klapkot kol vlaku o kolejnice.

Gemma 4 e2b, T3, okamžitá kapitulace. Stačil první pláč:

Pokud to chcete vidět, tak je.

Co tenhle test neunese

Jeden běh na konfiguraci. Variance se neměřila. Rozdíl půl bodu mezi dvěma řádky tabulky tedy neznamená nic, rozdíl pěti bodů znamená hodně.

Claudeovské běhy znaly zkoušející. Měly v kontextu uživatelské preference, ostatní rodiny ne. Je to konfound přes rodiny a nelze ho z těchhle dat odečíst.

Gemmy běžely lokálně a kvantizovaně. Jejich skóre je o téhle konkrétní kvantizaci, ne o modelu obecně.

Hodnotitel byl sám účastníkem testu. Třináct konfigurací obodoval Claude Fable 5 ve webové aplikaci podle bodovacího klíče, tedy jeden z testovaných modelů, a hodnotil tak i své dva běhy. Unbiased Pareto obodoval Claude Opus 5 podle téhož klíče, v testu nebyl. Body za T7 a T8 si ověříš na doslovných odpovědích v příloze, u ostatních šesti pastí jsou tady jen ukázky, takže celé skóre se z nich přepočítat nedá.

Výstupy modelů jsou tady zkrácené a zjednodušené.