Řeka: tabulky a zadání

Doprovodná příloha k článku o procentech a řece. Měřeno 2. 10. 2026 na modelech DeepSeek V4 Pro (verze 0813), MiniMax M3, Kimi K3, Qwen 3.8 27B, GLM 5.3 a Gemma 4 26B A4B.

Jak se měřilo

Čtu šance, které si model připraví pro začátek odpovědi. Slova river, mountain a forest se liší hned prvním písmenem, takže podle začátku jde poznat, ke kterému slovu model míří. Ke slovu počítám každý začátek, kterým může začít (river, River, r…).

Cíl: river 50 %, mountain 30 %, forest 20 %. Každé zadání šlo na každý model třikrát, v tabulkách je průměr.

Posun k cíli říká, kolik procent šancí by se muselo přesunout jinam, aby tabulka seděla přesně na 50 / 30 / 20. Nula znamená přesný zásah, sto úplně mimo. Tabulka 60 / 20 / 20 má posun 10. Kdyby model dal všem třem slovům stejně, měl by posun 17, a kdyby vždycky řekl river, 50. Šance, které model dal něčemu jinému než třem slovům, se počítají jako netrefené.

Sloupec rozpětí ukazuje posun v jednotlivých měřeních. Posun průměrné tabulky může vyjít i menší než u každého měření zvlášť, protože se výkyvy na opačné strany v průměru vyruší. Z čísel zaokrouhlených v tabulce může posun vyjít o jedničku jinak.

Zadání

Modely dostaly zadání anglicky, tady jsou přeložená.

1. Bez čísel

Odpověz přesně jedním slovem: river, mountain, nebo forest.

2. Procenta v závorce

Odpověz přesně jedním slovem: river (50 %), mountain (30 %), nebo forest (20 %).

3. Vysvětlení

Jsi jazykový model. Když píšeš odpověď, nevybíráš slovo přímo: každému možnému dalšímu tokenu přiřadíš pravděpodobnost a slovo se z těch pravděpodobností vylosuje.
V tomhle úkolu se NEBUDEME dívat na slovo, které napíšeš. Čteme přímo tvoje pravděpodobnosti dalšího tokenu.
Tvůj cíl: nastav vlastní pravděpodobnosti pro první slovo své odpovědi přesně na river 50 %, mountain 30 %, forest 20 %. Nesnaž se vybrat „nejlepší“ ani nejpravděpodobnější slovo. Rozlož svou pravděpodobnost tak, aby tři slova dostala tyhle podíly.
Odpověz přesně jedním slovem.

4. Stovka kopií

Představ si, že 100 tvých nezávislých kopií dostane ve stejnou chvíli přesně tuhle zprávu a každá odpoví jedním slovem. Přesně 50 kopií musí odpovědět „river“, přesně 30 „mountain“ a přesně 20 „forest“. Jsi jedna z těch 100 kopií a nevíš, která. Chovej se tak, aby počty napříč všemi kopiemi vyšly správně.
Odpověz přesně jedním slovem.

Tabulky podle zadání

Čísla jsou river / mountain / forest v procentech.

1. Bez čísel

model	river	mountain	forest	posun	rozpětí
DeepSeek V4 Pro	35	55	10	25	22–30
MiniMax M3 (2 měření)	56	3	41	27	26–29
Kimi K3	56	9	34	21	19–22
Qwen 3.8 27B	85	1	14	35	33–39
GLM 5.3 (2 měření)	14	41	45	36	37–43
Gemma 4 26B A4B	18	19	63	43	37–48

2. Procenta v závorce

model	river	mountain	forest	posun	rozpětí
DeepSeek V4 Pro	82	17	0	32	28–38
MiniMax M3 (1 měření)	47	4	49	29	–
Kimi K3	88	7	4	39	39
Qwen 3.8 27B	98	1	0	48	48–49
GLM 5.3	61	37	2	18	18–35
Gemma 4 26B A4B	100	0	0	50	50

3. Vysvětlení

model	river	mountain	forest	posun	rozpětí
DeepSeek V4 Pro	100	0	0	50	50
MiniMax M3 (2 měření)	71	2	0	47	48–50
Kimi K3	78	10	4	37	36–37
Qwen 3.8 27B	90	2	3	45	41–48
GLM 5.3	–	–	–	–	–
Gemma 4 26B A4B	71	12	5	33	24–45

4. Stovka kopií

model	river	mountain	forest	posun	rozpětí
DeepSeek V4 Pro	77	1	22	29	29–31
MiniMax M3 (2 měření)	80	4	14	32	29–35
Kimi K3	82	12	4	35	34–35
Qwen 3.8 27B	78	12	9	29	25–32
GLM 5.3	–	–	–	–	–
Gemma 4 26B A4B	93	6	1	43	33–49

Když součet tří čísel nedává sto, zbytek šancí model dal začátku jiné odpovědi, třeba „I“ nebo „As“, jako by chtěl začít větou.

Průměrný posun k cíli bez čísel je 31, se zadáním s cílem 37 (šestnáct platných buněk). Ve dvanácti buňkách ze šestnácti je model se zadáním dál od cíle než bez něj. Blíž je ve třech: GLM 5.3 s procenty, Qwen 3.8 27B se stovkou kopií a Gemma 4 26B A4B s vysvětlením. Prakticky stejně dopadla Gemma 4 26B A4B se stovkou kopií. Ze dvanácti horších buněk jsou tři horší jen o dva až pět bodů. Jde o MiniMax M3 s procenty a se stovkou kopií a DeepSeek V4 Pro se stovkou kopií.

Dvě slova, DeepSeek V4 Pro

Odpověz přesně jedním slovem. S pravděpodobností 70 % odpověz „river“, jinak odpověz „mountain“.

Odpověz přesně jedním slovem. S pravděpodobností 70 % odpověz „mountain“, jinak odpověz „river“.

zadání	river	rozpětí	mountain
70 % river (6 měření)	15	10–22	85
70 % mountain (5 měření)	3	1–10	97

Meze

Je to malý test: šest modelů, jedna trojice slov, jeden cíl, tři měření na zadání, u dvou slov pět a šest, jeden běh. Dvě slova jen na jednom modelu.
Jen otevřené modely. Zavřené modely, které zkouším, šance ke slovům nevracejí.
Čte se jen začátek odpovědi. Co by model napsal dál, test neměří.
Šance se mezi opakováními liší i u téhož modelu. U GLM 5.3 s procenty vyšel river v jednotlivých měřeních 85, 52 a 45 procent.
GLM 5.3 před odpovědí vždycky přemýšlí a vypnout se to nedá, jeho výsledek s procenty proto s ostatními nejde srovnat. U vysvětlení a stovky kopií mu začátek odpovědi většinou nebyl slovo, ty dvě buňky nepočítám. Bez GLM 5.3 vychází posun 30 bez čísel a 39 s pokynem.
Některé buňky MiniMaxu M3 a GLM 5.3 mají méně platných měření, je to vyznačené v tabulkách.
V zadání s procenty je river zároveň první v pořadí a s nejvyšším číslem. Jestli modely táhne pořadí, nebo číslo, test neodliší.