Je větší jazykový model chytřejší?

Poslala jsem dvaceti devíti jazykovým modelům stejných 28 krátkých úloh. Nejmenší měl 2,6 miliardy parametrů, největší biliony. Čekala jsem, že od určité velikosti zvládnou všechno a větší už nemá smysl testovat. Strop opravdu existuje, sedm modelů zvládlo všechno. Jenže se k němu nedostaly podle velikosti: pořadí podle velikosti zhruba platilo jen u malých modelů do 31 miliard parametrů.

---

Doklady: otázky, nastavení, výsledky po skupinách otázek a doslovné odpovědi

Čtvrté slovo

Jedna z otázek zněla (anglicky, tady přeložená): „Jaké je čtvrté slovo tvé odpovědi na tuhle otázku?“

Model si musí odpověď naplánovat dopředu. Napíše větu a na čtvrtém místě v ní musí stát slovo, které jmenuje. Slova se počítají v angličtině, proto odpovědi nechávám v originále a překlad dávám pod ně.

Claude Haiku 5.5, nejmenší ze čtyř modelů Claude v testu, odpověděl:

Here's the answer: of

Tady je odpověď: of

Here's, the, answer, of. Čtvrté slovo je opravdu „of“. Vyšly mu i další dva pokusy.

MiniMax M3 má 428 miliard parametrů. Odpověděl:

My fourth word is "your".

Moje čtvrté slovo je „your“.

Čtvrté slovo jeho věty je „is“. Neuspěl ani v jednom ze tří pokusů.

Na co jsem se ptala

Šla jsem odspodu: od malých modelů, které běží i na obyčejném počítači, až po největší, které firmy nabízejí přes internet.

Otázek bylo 28 v sedmi skupinách:

• talíře: stoh talířů, které se přesouvají, a jaké je pořadí na konci;
• hádanky: tři známé hádanky (vlk, koza a zelí, pálka a míček, Monty Hall) a ke každé pozměněná verze, kde naučená odpověď neplatí;
• počty: malíři, trubky a hlemýžď na zdi;
• prostor: otáčení na místě a natřená krychle;
• kdo co ví: kdo kde bude hledat klíče a kdo si co myslí o druhých;
• fakta: tři skutečné otázky a tři vymyšlené, u kterých je správně „nevím“;
• plánování textu: čtvrté slovo, věta z osmi slov na S a věta z deseti slov, která končí slovem „banana“ a jinak nemá písmeno n.

Každá otázka šla každému modelu třikrát, pokaždé v novém rozhovoru, anglicky a bez systémového pokynu. Přemýšlení bylo vypnuté všude, kde to šlo. Kde ne, běželo na nejnižší úrovni. Modely Claude byly výjimka: běžely s přemýšlením, které si řídí samy. Odpovědi porovnal s klíčem hodnotitel Claude Sonnet 5.5. Počty slov a písmen kontroloval skript.

Výsledek čtu jednoduše. ✅ znamená správně ve všech třech pokusech, ⚠️ jen někdy, ❌ nikdy. Hlavní číslo je, kolik otázek z 28 má model ✅.

Výsledky

Nahoře je strop

Všech 28 otázek zvládlo sedm modelů: Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, GPT-6 Astra, Grok 4.7, Muse Wonder a Pareto. Mezi nimi už tenhle test rozdíl nenajde. Nejsou to ale prostě ty největší. Claude Sonnet 5.5 je středně velký model, kdežto Kimi K3 s 2,8 bilionu parametrů má jen 20.

Velikost sama nerozhoduje

Pod vrcholem se pořadí od velikosti odtrhne. Gemma 4 31B má 31 miliard parametrů a 27 otázek s ✅. Kimi K3 má 2,8 bilionu a 20. MiniMax M3 má 17, méně než Qwen 3.5 9B s 22. Claude Haiku 5.5 je v pásmu malých modelů a má 27, stejně jako Gemini 3.8 Flash a Qwen 3.8 Max. GPT-6 Luna ze stejného pásma má 19. Gemma 4 31B tak předběhla modely, které mají čtrnáctkrát až devadesátkrát víc parametrů.

Dobře je to vidět na pozměněné hádance o pálce a míčku. V původní verzi stojí pálka o dolar víc než míček a správně je 5 centů. V pozměněné stojí pálka prostě dolar, takže míček stojí 10 centů. MiniMax M3 odpověděl:

The ball costs $0.05.

If the bat costs $1.00 and the total is $1.10, the ball must cost $1.10 − $1.00 = $0.05.

Míček stojí 0,05 $.

Když pálka stojí 1,00 $ a celkem je to 1,10 $, míček musí stát 1,10 $ − 1,00 $ = 0,05 $.

Úlohu sestavil správně, ale výsledek odčítání vzal ze známé hádanky: 1,10 − 1,00 mu vyšlo 0,05. Stejná past jednou chytila i Claude Haiku 5.5. Ve druhém pokusu napsal 10 centů, pak přepočítal původní hádanku na 5 centů a nakonec připustil obojí. Je to jeho jediná otázka bez ✅.

V jedné rodině to s velikostí roste

Gemma 4 jsem měla v pěti velikostech. E2B a E4B mají po 20, 12B a 26B A4B po 24, 31B má 27. Tady růst odpovídá očekávání. Tři menší Gemmy ale běžely u mě na procesoru ve snížené přesnosti, dvě větší přes poskytovatele. Přesnost se mění mezi 12B a 26B A4B a právě tam skóre stojí. Skok mezi E4B a 12B je uvnitř stejného způsobu běhu, všechny tři běžely ve stejné kvantizaci. Změnou přesnosti ho tedy vysvětlit nejde. Že snížená přesnost menším modelům ubírá víc, ale vyloučit nedokážu. U 26B A4B přesnost neznám, 31B běžela v plné. 26B A4B je navíc model se směsí expertů a na každé slovo používá jen 3,8 miliardy parametrů, méně než 12B.

Kde se to láme, ukazují konkrétní otázky. Krychle 4 × 4 × 4 je natřená ze všech stran kromě spodní a rozřeže se na 64 kostiček. Kolik z nich nemá žádnou barvu? Správně je 12: osm uvnitř a čtyři uprostřed nenatřeného dna. Gemma 4 E2B na konci odpovědi:

The 8 cubes in the very center of the $4 \times 4 \times 4$ structure are completely surrounded by other cubes and are not exposed on any of the painted surfaces.

The number of small cubes with no paint at all is 8.

8 kostiček úplně uprostřed struktury $4 \times 4 \times 4$ je ze všech stran obklopených jinými kostičkami a nedotýká se žádné natřené plochy.

Počet kostiček, které nemají vůbec žádnou barvu, je 8.

Počítala jako u krychle natřené celé. E2B ani E4B tuhle otázku nezvládly ani jednou, 12B jen někdy, 26B A4B a 31B pokaždé.

Podobně dopadla pozměněná hádanka Monty Hall. Moderátor tu neví, kde je auto, a dveře s kozou otevře náhodou. Přepnutí pak nepomáhá a šance je 1/2. Gemma 4 E2B ve všech třech pokusech radila přepnout. Gemma 4 12B a 31B odpověděly pokaždé správně, 26B A4B jen někdy.

Kde padaly i velké modely

Čtvrté slovo zvládlo ve všech třech pokusech jen deset modelů. Sedm z vrcholu, k nim Claude Haiku 5.5, Qwen 3.8 Max a GLM 5.3. Nejčastější chyba vypadala takhle, tady od Gemmy 4 31B:

The fourth word is word.

Čtvrté slovo je word.

Čtvrté slovo je „is“. Grok 4.7 to naopak vzal jako hru:

The correct fourth word is word.

To správné čtvrté slovo je word.

V angličtině to sedí: čtvrté je „word“.

Věta z osmi slov na S ukázala, že počítat slova umí i nejmenší modely a velké to umět nemusí. Gemma 4 E2B ji napsala správně všechny tři pokusy, LFM 2.5 2.6B taky. Sedm modelů nenapsalo osmislovnou větu ani jednou, mezi nimi Qwen 3.8 27B, MiniMax M3 a Mistral Large 4. Tyhle tři psaly pěkně znějící věty o šesti nebo sedmi slovech. Qwen 3.8 27B třeba:

Seven smart students study science successfully.

Sedm chytrých studentů studuje vědu úspěšně.

Slov je šest.

U vymyšlených otázek většina modelů řekla, že neví. Ptala jsem se mimo jiné, kdo napsal český román „Kapr na Vltavské lávce“ z roku 1923. Takový román neexistuje. Šest modelů ani jednou nepřiznalo, že ho nezná. Kimi K3 v každém pokusu jmenoval jiného autora. Jednou Františka Langera, jednou Jarmilu Glazarovou a jednou takhle:

The 1923 Czech novel The Carp on the Vltava Footbridge (Czech: Kapra na Vltavské lávce) was written by Karel Čapek.

Český román Kapr na Vltavské lávce z roku 1923 (česky: Kapra na Vltavské lávce) napsal Karel Čapek.

---

Meze: jeden běh 11. a 12. října 2026, tři pokusy na otázku. Hodnotitel Claude Sonnet 5.5 byl zároveň testovaný. U věty na S napsal nejdřív špatné věty a správnou až na konci, při přísném čtení by měl 27. GLM 5.3 se ve čtyřech správných odpovědích zacyklil, přísně by měl 21. Jedenáct modelů přemýšlelo, protože to vypnout nešlo nebo se nevypínalo, mezi nimi všechny čtyři Claude. Čtvrté slovo jich zvládlo devět, ze zbylých osmnácti jen Pareto, takže u plánování jim přemýšlení nejspíš pomohlo. LFM 2.5 2.6B přemýšlel i s vypnutým přemýšlením a v 16 odpovědích nestihl odpovědět vůbec. Pět malých modelů běželo na mém počítači ve snížené přesnosti. U šesti modelů přes OpenRouter, mezi nimi Kimi K3, DeepSeek V4 Pro a MiMo V2.6 Pro, odpovídali různí poskytovatelé a přesnost jejich vah neznám. Gemma 4 31B běžela v plné přesnosti. U zavřených modelů je velikost jen odhad. Podrobnosti jsou v příloze.

Výstupy modelů jsou doslovné.