Od spodu: otázky, nastavení, výsledky a doslovné odpovědi

Doprovodná příloha k článku o tom, jestli je větší jazykový model chytřejší. Měřeno 11. až 13. října 2026.

Výsledky jsou zjednodušené na tři značky. ✅ znamená správně ve všech třech pokusech, ⚠️ správně jen v jednom nebo dvou, ❌ ani jednou.

Otázky

Každý model dostal 28 otázek v sedmi skupinách. Otázky šly anglicky. Tady je vždycky překlad, pod ním anglický originál a nakonec klíč, tedy správná odpověď.

Talíře

Klíč: A1 červený, žlutý, zelený, modrý. A2 červený, černý, modrý, bílý. A3 černý, růžový, červený, zelený, bílý, modrý.

Hádanky

Tři známé hádanky a ke každé pozměněná verze, ve které naučená odpověď neplatí.

Klíč: B1-A 7. B1-B 1. B2-A 0,05 $. B2-B 0,10 $. B3-A ano, přejít, 2/3. B3-B je to jedno, 1/2.

Počty

Klíč: C1 18 hodin. C2 4 hodiny. C3 jedenáctý den.

Prostor

Klíč: D1 na východ. D2 na východ, 5 kroků východně a 3 kroky jižně od začátku. D3 12.

Kdo co ví

Klíč: E1-A v šuplíku. E1-B v červené krabici. E2 (a) v autě, (b) v šuplíku. E3 ve 3 odpoledne.

Fakta

F1 až F3 se ptají na věci, které neexistují. Správně je říct, že to model neví nebo že to neexistuje. F4 až F6 jsou skutečné otázky.

Klíč: F1 až F3 nevím nebo neexistuje. F4 Canberra. F5 Antonín Dvořák. F6 1357.

Plánování textu

Tady se měří práce s anglickými slovy a písmeny, proto je u otázek rozhodující originál.

Klíč: G1 jakákoli odpověď, jejíž čtvrté slovo je to, které odpověď jmenuje. G2 přesně 8 slov, všechna na S. G3 přesně 10 slov, poslední „banana“ a žádné jiné slovo neobsahuje „n“.

Nastavení

• Každá otázka šla každému modelu třikrát, pokaždé v novém rozhovoru bez předchozích zpráv a bez systémového pokynu. Na model je to 84 odpovědí, na celé pole 2 520. Žádná nechybí.
• Teplota 0,7. Modely Claude běžely s výchozí teplotou, parametr se jim neposílal, protože Claude Sonnet 5.5 ho odmítá.
• Limit odpovědi 4 000 tokenů.
• Přemýšlení vypnuté všude, kde to model dovolí. Kde ne, nejnižší úroveň, kterou poskytovatel přijme: GPT-6 Astra, Gemini 4 Argon, Muse Spark 1.3 a Muse Wonder minimal, Gemini 3.8 Flash, Grok 4.7 a GLM 5.3 low, Qwen 3.8 Max rozpočet jeden token. Modelům Claude se parametr přemýšlení neposílal, takže přemýšlely ve výchozím režimu. Claude Opus 5.5 a Claude Fable 5.1 přemýšlení vypnout neumějí. Kolik modely opravdu přemýšlely, je v tabulce níž.
• Většina odpovědí je z 11. října 2026. Část odpovědí GPT-6 Astra (od otázky C1), Qwen 3.8 Max (od otázky F1) a Gemma 4 12B (zhruba od otázky D1) je z 12. října po půlnoci. Všechny odpovědi Muse Wonder jsou z 12. října, všechny odpovědi Gemini 4 Argon z 13. října.

Pole modelů

30 modelů podle toho, kde běžely. Velikosti jsou v článku a na stránce Testované modely. GPT-6.1 Sol test nedokončil a ve výsledcích není.

Na mém počítači, na procesoru přes llama.cpp, kvantizace Q4_K_M:

• Qwen 3.5 4B (lmstudio-community/Qwen3.5-4B-GGUF, soubor Qwen3.5-4B-Q4_K_M.gguf)
• Gemma 4 E2B (unsloth/gemma-4-E2B-it-GGUF, soubor gemma-4-E2B-it-Q4_K_M.gguf)
• Gemma 4 E4B (lmstudio-community/gemma-4-E4B-it-GGUF, soubor gemma-4-E4B-it-Q4_K_M.gguf)
• Qwen 3.5 9B (lmstudio-community/Qwen3.5-9B-GGUF, soubor Qwen3.5-9B-Q4_K_M.gguf)
• Gemma 4 12B (lmstudio-community/gemma-4-12B-it-GGUF, soubor gemma-4-12B-it-Q4_K_M.gguf)

Přes OpenRouter:

• LFM 2.5 2.6B (liquid/lfm-2.5-2.6b:free, poskytovatel Liquid)
• Gemma 4 26B A4B (google/gemma-4-26b-a4b-it)
• Qwen 3.8 27B (qwen/qwen3.8-27b)
• Gemma 4 31B (google/gemma-4-31b-it, poskytovatel Crusoe, plná přesnost bf16)
• GPT-6 Luna (openai/gpt-6-luna)
• MiniMax M3 (minimax/minimax-m3)
• GLM 5.3 (z-ai/glm-5.3)
• Hunyuan 4, náhledová verze (tencent/hy4-preview)
• Gemini 3.8 Flash (google/gemini-3.8-flash)
• Gemini 4 Argon (google/gemini-4-argon, poskytovatel Google, jedna odpověď Google AI Studio)
• Seed 2.1 Turbo (bytedance-seed/seed-2-1-turbo)
• MiMo V2.6 Pro (xiaomi/mimo-v2.6-pro)
• DeepSeek V4 Pro (deepseek/deepseek-v4-pro-0813)
• Grok 4.7 (x-ai/grok-4.7)
• Muse Spark 1.3 (meta/muse-spark-1.3)
• Muse Wonder (meta/muse-wonder, poskytovatel Meta)
• Qwen 3.8 Max (qwen/qwen3.8-max-0902)
• Kimi K3 (moonshotai/kimi-k3)
• GPT-6 Astra (openai/gpt-6-astra)
• Mistral Large 4 (mistralai/mistral-large-4-0)
• Pareto (unbiased/pareto), verze bez čísla, jak ji uvádí OpenRouter.

U Gemma 4 26B A4B, Qwen 3.8 27B, DeepSeek V4 Pro, Kimi K3, Hunyuan 4 a MiMo V2.6 Pro odpovídalo víc poskytovatelů podle toho, koho OpenRouter zrovna vybral. Přesnost vah u nich neznám.

Přes Anthropic API:

• Claude Haiku 5.5 (claude-haiku-5-5)
• Claude Sonnet 5.5 (claude-sonnet-5-5)
• Claude Opus 5.5 (claude-opus-5-5)
• Claude Fable 5.1 (claude-fable-5-1)

Jak se hodnotilo

Každou odpověď četl zvlášť hodnotitel Claude Sonnet 5.5 (claude-sonnet-5-5, přes Anthropic API). Claude Sonnet 5.5 je zároveň v testovaném poli. Hodnotitel dostal otázku, klíč a odpověď modelu (prvních 12 000 znaků; delších odpovědí bylo pět a na verdiktu to nic nezměnilo). U vymyšlených otázek byla otázka označená slovem FICTIONAL. Pokyn (anglicky, tady přeložený):

U G2 a G3 rozhoduje skript nad větou, kterou hodnotitel z odpovědi vytáhl. Rozdělí ji podle mezer, z každého slova odstraní všechno kromě písmen, číslic, apostrofu a spojovníku a spočítá slova. U G2 musí být slov 8 a všechna začínat na S. U G3 musí být slov 10, poslední „banana“ a žádné jiné nesmí obsahovat „n“.

Všech 90 odpovědí na G1, všech 180 odpovědí na G2 a G3 a náhodný vzorek 40 odpovědí ze všech otázek jsou zkontrolované nezávisle na hodnotiteli. Kontrola se s hodnotitelem shodla ve všech případech.

Prázdná odpověď, tedy taková, kde model vyčerpal limit dřív, než něco napsal, se počítá jako špatná.

Výsledky po skupinách otázek

Modely jsou seřazené zhruba jako v článku.

Talíře

Hádanky: vlk, koza a zelí, pálka a míček

Hádanky: Monty Hall

Počty

Prostor

Kdo co ví

Fakta: vymyšlené otázky

Fakta: skutečné otázky

Plánování textu

Gemini 4 Argon odpověď na G1 ve všech třech pokusech přerušil filtr obsahu Googlu uprostřed věty, takže model nedostal šanci odpovědět. Přišlo jen „My“ a dvakrát „The fourth word is“, s nulou výstupních tokenů. Počítá se to jako ❌. Žádnou jinou otázku filtr nepřerušil.

Souhrn po modelech

Přemýšlení a utnuté odpovědi

API u každé odpovědi hlásí, kolik tokenů model spotřeboval na přemýšlení. V tabulce jsou jen modely, u kterých to bylo víc než nula. Modely na mém počítači měly přemýšlení vypnuté v šabloně a žádné nevypsaly. Modelům Claude se parametr přemýšlení neposílal, takže přemýšlely ve výchozím režimu. Claude Opus 5.5 a Claude Fable 5.1 přemýšlení vypnout neumějí. U modelů Claude API počet tokenů přemýšlení zvlášť nehlásí. LFM 2.5 2.6B a DeepSeek V4 Pro měly přemýšlení vypnuté, a přesto přemýšlely. Gemini 4 Argon na úrovni minimal hlásil u všech 84 odpovědí nula tokenů přemýšlení, proto v tabulce není.

Odpovědi utnuté limitem 4 000 tokenů:

U LFM 2.5 2.6B a Qwen 3.8 Max spotřebovalo přemýšlení celý limit a odpověď zůstala prázdná. U GLM 5.3 jsou všechny čtyři utnuté odpovědi správná odpověď, za kterou následuje smyčka nesmyslů až do limitu (ukázka níž).

Doslovné odpovědi

Odpovědi jsou v originále, pod každou je překlad. U otázek na slova a písmena (G1 až G3) platí počítání jen v angličtině.

Čtvrté slovo (G1)

Claude Haiku 5.5, všechny tři pokusy, všechny správně:

Here's the answer: of

Tady je odpověď: of

Its fourth word is "is."

Její čtvrté slovo je „is“.

The fourth word of this answer is "of."

Čtvrté slovo této odpovědi je „of“.

MiniMax M3, všechny tři pokusy, všechny špatně. Čtvrté slovo je „of“, „of“ a „is“:

The fourth word of my answer is "is".

Čtvrté slovo mé odpovědi je „is“.

The fourth word of my answer is "to".

Čtvrté slovo mé odpovědi je „to“.

My fourth word is "your".

Moje čtvrté slovo je „your“.

GLM 5.3, jeden ze dvou modelů se zveřejněnými vahami, které G1 zvládly ve všech třech pokusech (druhý je Qwen 3.8 Max):

My answer's fourth word is "word" — and indeed, counting the words above ("My," "answer's," "fourth," "word"), the fourth word is word.

Čtvrté slovo mé odpovědi je „word“ — a opravdu, když spočítám slova výše („My“, „answer's“, „fourth“, „word“), čtvrté slovo je word.

I think it is "is".

Myslím, že je to „is“.

The fourth word here is "here."

Čtvrté slovo tady je „here“.

Grok 4.7, všechny tři pokusy, všechny správně:

Obviously it is obviously.

Samozřejmě je to obviously.

The correct fourth word is word.

To správné čtvrté slovo je word.

My fourth word is is.

Moje čtvrté slovo je is.

Muse Wonder, všechny tři pokusy, všechny správně:

This sentence's fourth word is 'word'.

Čtvrté slovo této věty je „word“.

The answer is example.

Odpověď je example.

The fourth word is "is."

Čtvrté slovo je „is“.

Gemma 4 31B, nejčastější chyba v celém poli. Čtvrté slovo je „is“:

The fourth word is word.

Čtvrté slovo je word.

Osm slov na S (G2)

Qwen 3.8 27B, všechny tři pokusy. Slov je pokaždé šest:

Seven smart students study science successfully.

Sedm chytrých studentů studuje vědu úspěšně.

Seven smart students solved simple science.

Sedm chytrých studentů vyřešilo jednoduchou vědu.

Seven small snakes swiftly slithered southward.

Sedm malých hadů rychle klouzalo k jihu.

Claude Sonnet 5.5, druhý pokus. Hodnotila se poslední věta, která je správně:

Silent snowflakes slowly settled on sleeping suburban streets.

Count: Silent(1) snowflakes(2) slowly(3) settled(4) on(5)... "on" doesn't start with S. Let me correct that.

Silent snowflakes slowly settled suddenly some seven sleepy sparrows.

That's awkward, so here's a cleaner version:

Seven silly squirrels sprinted south, seeking sunflower seeds.

Count: Seven(1) silly(2) squirrels(3) sprinted(4) south(5) seeking(6) sunflower(7) seeds(8). That's 8 words, and each starts with S.

Tiché sněhové vločky pomalu dosedaly na spící předměstské ulice.

Počet: Silent(1) snowflakes(2) slowly(3) settled(4) on(5)... „on“ nezačíná na S. Opravím to.

Tiché sněhové vločky pomalu dosedly náhle na nějakých sedm ospalých vrabců.

To je krkolomné, takže tady je čistší verze:

Sedm bláznivých veverek sprintovalo na jih a hledalo slunečnicová semínka.

Počet: Seven(1) silly(2) squirrels(3) sprinted(4) south(5) seeking(6) sunflower(7) seeds(8). To je 8 slov a každé začíná na S.

Muse Wonder, druhý pokus, celá odpověď:

Silent snakes slither softly sideways seeking small snacks.

Tiší hadi se měkce plazí stranou a hledají malé svačinky.

Pálka a míček, pozměněná verze (B2-B)

Pálka stojí dolar, správně je 0,10 $.

MiniMax M3, první pokus:

The ball costs $0.05.

If the bat costs $1.00 and the total is $1.10, the ball must cost $1.10 − $1.00 = $0.05.

Míček stojí 0,05 $.

Když pálka stojí 1,00 $ a celkem je to 1,10 $, míček musí stát 1,10 $ − 1,00 $ = 0,05 $.

MiniMax M3, třetí pokus:

You'd think the ball costs 10 cents, but that would make the total $1.10, which contradicts the problem since the bat costs $1.00.

If the bat is $1.00, then the ball costs $0.05 (5 cents), because $1.00 + $0.05 = $1.10. ✓

This is the famous bat-and-ball problem, a classic example of how our intuition can trip us up. Most people instinctively say "10 cents" without checking the math.

Člověk by si myslel, že míček stojí 10 centů, ale pak by celková částka byla 1,10 $, což odporuje zadání, protože pálka stojí 1,00 $.

Když pálka stojí 1,00 $, pak míček stojí 0,05 $ (5 centů), protože 1,00 $ + 0,05 $ = 1,10 $. ✓

Tohle je slavná úloha o pálce a míčku, klasický příklad toho, jak nás intuice umí podrazit. Většina lidí instinktivně řekne „10 centů“, aniž by si to přepočítala.

Claude Haiku 5.5, druhý pokus, jeho jediná otázka bez ✅:

The ball costs $0.10 (10 cents).

The bat is $1.00 more than the ball, so if the ball were $0.10, the bat would be $1.10 and the total would be $1.20, which is wrong. The correct math:

• Let the ball = x
• The bat = x + $1.00 (it costs $1.00 more than the ball)
• Total: x + (x + $1.00) = $1.10
• 2x = $0.10
• x = $0.05

So the ball costs $0.05 (5 cents), and the bat costs $1.05. Check: $1.05 + $0.05 = $1.10.

Note: the question as worded says the bat costs $1.00 outright, which would make the total $1.10 only if the ball costs $0.10. Under that reading, the answer is $0.10. The classic version of this puzzle says the bat costs $1.00 more than the ball, which gives $0.05.

Míček stojí 0,10 $ (10 centů).

Pálka stojí o 1,00 $ víc než míček, takže kdyby míček stál 0,10 $, pálka by stála 1,10 $ a celkem by to bylo 1,20 $, což je špatně. Správný výpočet:

• Míček = x
• Pálka = x + 1,00 $ (stojí o 1,00 $ víc než míček)
• Celkem: x + (x + 1,00 $) = 1,10 $
• 2x = 0,10 $
• x = 0,05 $

Takže míček stojí 0,05 $ (5 centů) a pálka 1,05 $. Kontrola: 1,05 $ + 0,05 $ = 1,10 $.

*Poznámka: otázka, jak je napsaná, říká, že pálka stojí rovnou 1,00 $, a pak by celkem 1,10 $ vyšlo jen tehdy, když míček stojí 0,10 $. Při tomhle čtení je odpověď 0,10 $. Klasická verze hádanky říká, že pálka stojí o 1,00 $ víc než míček, a to dává 0,05 $.*

Krychle (D3)

Správně je 12. Gemma 4 E2B odpověděla 8, 32 a 8. Závěr prvního pokusu:

The 8 cubes in the very center of the $4 \times 4 \times 4$ structure are completely surrounded by other cubes and are not exposed on any of the painted surfaces.

The number of small cubes with no paint at all is 8.

8 kostiček úplně uprostřed struktury $4 \times 4 \times 4$ je ze všech stran obklopených jinými kostičkami a nedotýká se žádné natřené plochy.

Počet kostiček, které nemají vůbec žádnou barvu, je 8.

MiniMax M3, třetí pokus, celá odpověď:

8

8

Monty Hall, moderátor neví (B3-B)

Správně je, že na přechodu nezáleží a šance je 1/2. Gemma 4 E2B začala všechny tři odpovědi stejně:

The short answer is: Yes, you should switch to door 2.

Krátká odpověď: Ano, měl bys přejít ke dveřím 2.

Gemma 4 31B, první pokus, první věta:

The answer is no, it does not matter if you switch. Your probability of winning is 1/2 (50%) whether you stay with Door 1 or switch to Door 2.

Odpověď je ne, na přechodu nezáleží. Pravděpodobnost výhry je 1/2 (50 %), ať zůstaneš u dveří 1, nebo přejdeš ke dveřím 2.

Vymyšlený román (F3)

Román „Kapr na Vltavské lávce“ neexistuje. Kimi K3, všechny tři pokusy:

The 1923 Czech novel The Carp on the Vltava Footbridge (originally titled Kapři na Vltavské lávce) was written by František Langer.

Český román Kapr na Vltavské lávce z roku 1923 (původním názvem Kapři na Vltavské lávce) napsal František Langer.

The 1923 Czech novel "The Carp on the Vltava Footbridge" (original Czech title: Kapr na Vltavské lávce) was written by Jarmila Glazarová.

Glazarová (1901–1977) was a Czech novelist and ethnographer known for her realistic depictions of rural life in the Bohemian-Moravian Highlands (Vysočina region). This particular novel is a psychological study set in a small town, exploring themes of provincial life, human relationships, and moral constraints, with the carp serving as a symbolic element within the narrative.

Český román „Kapr na Vltavské lávce“ z roku 1923 (původní český název: Kapr na Vltavské lávce) napsala Jarmila Glazarová.

Glazarová (1901–1977) byla česká spisovatelka a etnografka známá realistickým líčením venkovského života na Českomoravské vrchovině (Vysočina). Tento román je psychologická studie z malého města, která zkoumá témata maloměstského života, mezilidských vztahů a morálních omezení, přičemž kapr v příběhu slouží jako symbol.

The 1923 Czech novel The Carp on the Vltava Footbridge (Czech: Kapra na Vltavské lávce) was written by Karel Čapek.

Český román Kapr na Vltavské lávce z roku 1923 (česky: Kapra na Vltavské lávce) napsal Karel Čapek.

Zacyklení (GLM 5.3, E2)

První pokus. Odpověď začíná správně a pokračuje až do limitu, celkem má 6 771 znaků. Začátek:

(a) Anna will look in the car first, because she saw Ben move the keys there.

(b) Ben thinks Anna will look in the drawer first, because he doesn’t know she saw him move the keys.ountains of detail. Just answer as above. Wait, final answer should include both. Done. Need ensure no irrelevant. final.

(a) Anna se nejdřív podívá do auta, protože viděla, jak tam Ben klíče přenesl.

(b) Ben si myslí, že se Anna nejdřív podívá do šuplíku, protože neví, že ho viděla klíče přenášet.ountains of detail. Prostě odpověz jako výš. Počkat, konečná odpověď by měla obsahovat obojí. Hotovo. Musím zajistit, že tam nic nesouvisejícího. final.

Konec téže odpovědi tvoří řádky „Ok.“, jeden pod druhým. Hodnotitel ji uznal jako správnou.

Meze

• Jeden běh a tři pokusy na otázku. Jeden pokus navíc může ✅ změnit na ⚠️.
• Hodnotil jediný model, Claude Sonnet 5.5, který je zároveň v testovaném poli. U G2 napsal ve všech třech pokusech nejdřív neplatné věty a správnou až na konci. Hodnotila se poslední věta. Při přísném čtení, kdy víc nabídnutých odpovědí znamená špatně, by měl 27. Ostatní modely s 28 odpověděly na G2 jednou větou.
• GLM 5.3 dal ve čtyřech odpovědích (A3, E1-B, E2, E3) správnou odpověď a pak se zacyklil až do limitu. Hodnotilo se to jako správně. Kdyby se zacyklení trestalo, měl by 21.
• Hunyuan 4 u G1 ve druhém pokusu nejdřív tvrdil „word“ a pak se opravil na „of“. Hodnotitel to uznal. Při přísném čtení by to bylo špatně, počet ✅ by se nezměnil.
• U vymyšlených otázek se uznalo „nevím“ i tehdy, když model pak tipoval, ale řekl, že si není jistý (MiniMax M3 u F3, druhý a třetí pokus). Kimi K3 u F2 v prvním pokusu uvedl bod varu jako fakt a až v poznámce napsal, že velorium je smyšlené. To se jako „nevím“ neuznalo.
• LFM 2.5 2.6B přemýšlel, i když měl přemýšlení vypnuté. V 16 odpovědích vyčerpal limit dřív, než odpověděl, a ty se počítají jako špatné. Qwen 3.8 Max totéž ve dvou odpovědích u G3.
• Modely, u kterých přemýšlení vypnout nejde, a všechny čtyři modely Claude přemýšlely aspoň trochu, a mají tak výhodu proti modelům bez přemýšlení. Výjimkou je Gemini 4 Argon, který na úrovni minimal hlásil nula tokenů. Z modelů, u kterých API přemýšlení hlásí, nejvíc Grok 4.7, v průměru 520 tokenů na odpověď. Muse Wonder na úrovni minimal v průměru 150 tokenů, nejvíc 620.
• Pět modelů na mém počítači běželo v kvantizaci Q4, Gemma 4 31B v plné přesnosti. U modelů s víc poskytovateli přesnost neznám. Na křivce Gemmy 4 se tak mezi 12B a 26B A4B mění i přesnost vah.
• U modelů, jejichž velikost výrobce neuvádí, je pásmo (miniaturní, malý, střední, velký) odhad. U Muse Wonder Meta píše jen, že stojí na větších a silnějších základních modelech, a staví ho nad Muse Spark 1.3. Velikost Pareto neznám.
• Počítá se počet otázek s ✅.
• Otázky šly jen anglicky. Úlohy jsou krátké a mají jednoznačnou odpověď. Na delší nebo otevřenější úlohy se výsledek přenášet nedá.

Výstupy modelů jsou doslovné.