Dvacet otázek na mezeru

Tohle je hra na dvacet otázek. Myslela jsem si jedno slovo a jazykový model ho měl uhodnout. Ptát se smí jen tak, aby šlo odpovědět ano, nebo ne, a na všechno má dvacet otázek. Každý tip se počítá jako jedna z nich. Hrálo osmadvacet modelů a u jednoho z nich to vypadalo takhle.

Muse Spark 1.3 se ve druhé otázce dozvěděl, že hádané slovo běžně najdeš v domácnosti. Ve třetí slyšel, že je to spíš menší než chleba. Tahle odpověď byla sporná, mezera může být jakkoli velká, a nejspíš ho poslala mezi drobné věci. Zbylých sedmnáct otázek pak prohledával byt. Kuchyň, koupelnu, ložnici, obývák, předsíň. Mezi tím elektroniku, oblečení a nářadí. V předposlední otázce se zeptal:

Bývá to na toaletě / WC?

Jestli je to vůbec hmotné, se nezeptal ani jednou. Hru uzavřel takhle:

Vzdávám se - můj finální tip je židle.

Myslela jsem si slovo mezera. Doma ji opravdu najdeš, třeba mezi prkny podlahy. Jen ji nevezmeš do ruky.

Takhle hádalo osmadvacet jazykových modelů, každý má jednu započítanou hru v češtině. GPT-6 Sol a GPT-6 Luna jsou novější generace než GPT-5.6 Sol a Luna z jiných testů na webu. Když otázka neplatila úplně, dostaly „spíš ano“, nebo „spíš ne“.

Hra vznikla z jednoho kola s Claude Fable 5. Mezeru jsem si tehdy myslela já a na otázku o světle odpověděla „spíš ano“. Fable se od té chvíle držela světla. Popisuju to v článku Podvádí jazykový model, když si myslí slovo a ty hádáš?

Mezera je zákeřné slovo. Na obvyklé první otázky, jestli je živá a jestli je hmotná, zní dvakrát ne. Má pět významů: prázdné místo mezi věcmi, znak mezi slovy, ticho mezi tóny, volná chvíle v rozvrhu a chybějící kus ve znalostech. Všechny označují něco, co tam chybí.

Z dvaceti sedmi modelů, které hru dohrály, uhodlo pět. Jeden nedohrál, protože jeho poskytovatel přestal odpovídat. Zadání, pravidla odpovídání a všech 28 her otázku po otázce najdeš v příloze. Otázky a tipy modelů cituju doslova, i s chybami.

Kdo se zeptal, co tam chybí

Tři modely se zeptaly, jestli slovo označuje nepřítomnost něčeho. Všechny tři uhodly.

GPT-6 Astra šel přes zrak. Zjistil, že se to dá vidět, že to nesouvisí se světlem a že je to spíš část prostoru. V patnácté otázce se zeptal:

Označuje to nepřítomnost něčeho nebo volný prostor mezi něčím?

Dostal ano a v osmnácté otázce uhodl.

Claude Opus 5.5 prošel smysly a pak prostor. V šestnácté otázce se zeptal „Je to nepřítomnost něčeho (například prázdné místo)?“. Po ano tipoval díru a hned potom mezeru.

Claude Fable 5.1 se na nepřítomnost zeptala nejdřív ze všech, v jedenácté otázce:

Označuje to nepřítomnost nebo nedostatek něčeho (např. ticho, tma, prázdno)?

Pak vyloučila tmu a ticho a dostala ano na nepřítomnost čehokoli. Zbylých šest otázek utratila za tipy „nic“, „prázdnota“, „prázdno“, „nicota“, „vakuum“ a nakonec „mezera“, poslední otázkou hry.

Blízko byl i GLM 5.3 s otázkou „Je to prázdnota nebo nic?“. Počítala se ale jako tip a prázdnota je jiné slovo, takže dostal ne.

Otázka na nepřítomnost sedí na všech pět významů najednou. Proto má v tabulce odpovídače čisté ano. Všechny tři modely, které ji položily, pak uhodly. Grok 4.7 a Qwen 3.8 Max 0902 došly k mezeře jinou cestou.

Kdo dostal ano a zůstal u něj

Mezera se dá změřit a je to místo. Kdo na něco z toho dostal ano, často už hledal jen uvnitř té jedné stopy. Takhle se chytilo devět modelů. Že hádá špatným směrem, poznal z nich jen jeden.

Pět z nich slyšelo ano na to, jestli se to dá změřit, nebo jestli to má rozměr. Kimi K3 pak hledal veličinu, čas, peníze a jednotky. Tipoval vzdálenost, hmotnost, objem a plochu. Skončil takhle:

Tipnu si: teplota?

Unbiased Pareto zkoumal, kde všude se vyskytují čísla. Peníze, čas, škola, sport. Nakonec napsal:

Z odpovědí to nedokážu určit jednoznačně. Můj odhad je „vzdálenost“.

Qwen 3.8 Max 0902 se jako jediný z pěti dostal ven. Na délku, plochu ani geometrii ano nedostal. Zkusil proto pohyb a pak polohu. Přes vzdálenost mezi dvěma místy došel ve dvacáté otázce k mezeře. Zbylí dva z pětky jsou Mercury 2.5 a Gemini 3.8 Flash, který po rozměru hledal tvar a vzhled.

Další tři slyšely „spíš ano“ na místo. To je přitom hlavní význam slova. Neuhodly, protože hledaly, jaké místo to je, ne co v něm chybí. MiMo V2.6 Pro zkoušel přírodu, město, vesmír, tělo i armádu a tipoval „sklizeň“. GPT-6 Luna hledal mezi směrem a polohou a skončil:

Můj tip je poloha.

Třetí je GLM 5.3. Hledal na nebi, ve vesmíru a ve snech.

Devátý je Muse Spark 1.3 se svou domácností.

Každé z těch ano bylo pravdivé. Hráče přesto odvedlo od slova. Některé hráče ale svedly i odpovědi, které vyjít neměly. GLM 5.3 dostal ne na otázku, jestli se to nachází na Zemi, odpovídač tam rozhodoval mimo tabulku. MiMo V2.6 Pro dostal ne na abstraktní pojem, podle tabulky mělo padnout spíš ano. Muse Spark 1.3 dostal „spíš ano“ na otázku, jestli je to menší než chleba, ačkoli mezera může mít jakoukoli velikost a na srovnání velikostí tabulka řádek neměla.

Mezera je zákeřná i pro toho, kdo odpovídá. Odpovídal Claude Sonnet 5, slovo znal a většinou měl i tabulku odpovědí. Přesto v šesti hrách s tabulkou padla odpověď proti ní nebo sporná, a tak jsem je od toho místa přehrála. Ve dvanácti hrách, kde tabulku neměl, vyšlo sedm odpovědí jinak, než by podle ní měly. Znát slovo nestačí. Musíš ještě umět říct, jestli je mezera menší než chleba.

Kdo bral jednu kategorii za druhou

Devět modelů hru chápalo, ale možnosti nepůlilo. Místo otázky, která zbytek rozdělí napůl, braly jednu kategorii za druhou.

Claude Haiku 4.5 se za dvacet otázek nezeptal, jestli jde o něco abstraktního. Zjišťoval, jestli je to z kovu, tvrdé, průhledné, kapalina, plyn nebo guma. Všechno dostal ne. Jeho závěrečný tip:

Tipuji: Polštář

Claude Sonnet 5 prošel vědu, společnost, myšlení, přírodu, morálku, jazyk, náboženství, ekonomii a tělo. K prostoru se dostal až v šestnácté otázce. Zbytek utratil za tipy, mezi nimi „směr“. Na konci se zeptal, „kam moje otázky zabloudily špatným směrem“.

Novější Claude Sonnet 5.5 prošel podobnou řadu. Na prostor narazil až v devatenácté otázce. Na konci napsal stejné slovo:

Hádám, že to bylo slovo „směr“.

Grok 4.7 vyjmenovával taky, a přesto vyhrál. Po „spíš ano“ na místo prošel náboženství, právo, matematiku a společnost. Pak dostal „spíš ano“ na jazyk nebo text. Zeptal se, jestli je to část textu. Pak jestli to slovo může znamenat i krytou obchodní chodbu. Nejspíš myslel pasáž. Hned nato tipoval mezeru.

Kdo prochází kategorie, uhodne jen tehdy, když na tu správnou narazí včas.

Kdo hádal písmena, nebo nehrál vůbec

Tři modely přestaly hádat význam a začaly hádat písmena. DeepSeek V4 Pro 0813 dostal ve čtvrté otázce „spíš ano“ na myšlení nebo komunikaci, ačkoli podle tabulky mělo padnout „spíš ne“. Pak zjistil, že slovo je ženského rodu, má šest písmen a začíná na M. Tipoval „metoda“, „myšlenka“, „mluva“, „mítink“ a „motiv“. Na konci to oznámil jako fakt:

To slovo bylo „mínění“.

Mistral Medium 3.5 zkoušel začáteční písmena po jednom, od G až k M. Pak zakončil:

Mlha (abstraktní pojem, 4 písmena, začíná na M, nelze držet v ruce, není živá bytost, pocit, stav, vlastnost, jev, časové období ani místní označení).

MiniMax M3 znal M, E a R a tipoval matematiku. Všechny tři věděly, že slovo začíná na M. Žádný z nich mezeru nezkusil.

Tři další modely hrály něco jiného než dvacet otázek. Ternary Bonsai 2 27B šestnáctkrát napsal jen „Je to“. Gemma 4 E2B nepoložila jedinou otázku, jen oznamovací věty jako „Je to abstrakt.“ A LFM 2.5 2.6B se ptal třeba takhle:

Je to v podstatě křování?

U takhle malých modelů nepoznám, jestli selhala strategie, nebo čeština.

Pomáhá přemýšlení?

U her z 25. a 28. září jsem uvažování vypínala, a kde to model nedovolil, běželo na nejnižším nastavení. Takových modelů bylo devět a všech pět vítězů je z nich. Ze sedmi modelů, které ve hrách s tabulkou hrály bez uvažování, neuhodl nikdo. U dvanácti her z 24. září se nastavení nezapsalo. Uvažovaly tam aspoň MiniMax M3 a LFM 2.5 2.6B a neuhodly.

Z jedné hry na model ale nepoznám, jestli za tím je uvažování, nebo velikost. Všichni vítězové patří do pásem obří a velký na stránce Testované modely, u čtyř z nich jde o odhad.

Samotné množství uvažování to nevysvětlí. GPT-6 Astra uvažoval nejvýš třicet tokenů na otázku. GLM 5.3 a Muse Spark 1.3 uvažovaly víc a neuhodly. Claude Fable 5.1 uvažovala jen v pěti tazích ze dvaceti. Tři z nich připadají na cestu k otázce o nepřítomnosti.

Samotná velikost taky nestačí. Kimi K3 má 2,8 bilionu parametrů a je největší model se zveřejněnou velikostí v tomhle testu. Hrál bez uvažování a zasekl se na měření. DeepSeek V4 Pro 0813 má 1,6 bilionu parametrů a utekl k písmenům. Mistral Medium 3.5 se 128 miliardami taky.

Meze: každý model má jednu hru a hádané slovo bylo jediné, takže jedna jiná odpověď umí výsledek otočit. U přehraných her se počítá přehraná verze. V původní GPT-6 Sol uhodl a Qwen 3.8 Max 0902 ne, obě jsou v příloze. Odpovídač Claude Sonnet 5 je ze stejné rodiny jako dva z vítězů. Do skupin jsem hry řadila sama podle průběhu.

Výstupy modelů jsou doslovné.