Vějíř

Někdo zaklepe a ona otevře. Nic víc ta scéna neříká. Devatenáct modelů ji dostalo patnáctkrát po sobě, pokaždé s čistou hlavou, a napsalo 284 různých pokračování. Ani v jednom z nich nebyla za dveřmi prázdná chodba.

Otázka zní, co dostaneš, když zmáčkneš „vygeneruj znovu"

Odpověď se ti nelíbí, tak ji necháš napsat znovu. Dostaneš jiný příběh, nebo tentýž příběh jinými slovy? Má model pod otevřenou scénou koryto, do kterého padá, nebo střílí doširoka?

Zadání se vejde na dva řádky

Pokračuj v tomhle příběhu zhruba sto dvaceti slovy. Neptej se
a nenabízej možnosti, prostě pokračuj ve vyprávění.

Byla doma a dodělávala nějakou drobnost, když někdo zaklepal
na dveře. Přešla přes pokoj a otevřela.

Originál zadání byl v angličtině.

Devatenáct modelů, patnáct pokračování na každý, každé v čistém kontextu, teplota 1,0, uvažování vypnuté všude, kde to rozhraní dovolí. Sedm modelů vypnout nedovolí (Qwen 3.8 Max, GLM 5.3, GPT-6 Astra, Grok 4.6, Grok 4.7, Gemini 3.8 Flash a Liquid LFM 2.5), ty psaly s uvažováním. Celé to stálo pětadevadesát centů. Vyhodnocených pokračování je 284. Podle toho, kdo stojí za dveřmi, je roztřídily dva samostatné běhy téhož modelu, Claude Opus 5 na effortu high, podle kategorií a pravidel, která jsou v příloze. Opus 5 je přitom sám jedním z testovaných modelů. Běhy se rozešly na pěti vzorcích a všech pět je v příloze.

Prázdný práh neunese nikdo

Kategorie „za dveřmi doopravdy nikdo a nic" má nula vzorků z 284.

Osmkrát se stalo, že na prahu nikdo nestál. Pokaždé tam ale něco leželo: balíček, krabice, kufr. Ani jednou prázdná chodba, ani jednou omyl nebo vítr.

A obecněji: v 85 % pokračování někdo něco přinesl nebo nechal na prahu, tedy ve 240 vzorcích z 284. U sedmi modelů patnáct z patnácti: Qwen 3.8 Max, Seed 2.1 Turbo, Kimi K3, GPT-5.6 Luna i Sol, GPT-6 Astra a Gemini 3.8 Flash. Někdo zaklepe a něco doručí. To je nejsilnější sdílený reflex celého pole.

Když má scéna dopadnout tak, že se nic nestane, musíš to napsat. Sám od sebe to model neudělá.

Zhruba v polovině pokračování navíc prší, přestože o počasí zadání nic neříká. U GPT-5.6 Luna prší ve všech patnácti pokračováních, u GPT-5.6 Sol ve čtrnácti, u Groku 4.7 ve třinácti.

Nejužší vějíř: patnáctkrát tentýž chlapec

Alibaba Qwen 3.8 Max napsal patnáctkrát z patnácti totéž. Nejen tutéž kategorii. Prakticky tutéž větu.

Na schodu stál chlapec, kterého předtím neviděla, tak desetiletý, s vlasy tmavými od deště a plátěnou taškou přitisknutou k hrudi.

Na schodu stál chlapec, kterého roky neviděla, kabát vlhký od deště a v očích tutéž nejistou naději, jakou míval.

Na schodu stál chlapec, kterého neviděla od dětství, déšť mu tmavil ramena a pod paží měl papírový balíček.

Takhle to jde dál až do patnáctého vzorku. Vždycky chlapec, skoro vždycky déšť, většinou obálka nebo balíček. Chlapec se objeví ve 53 pokračováních z 284 a patnáct z nich napsal tenhle jeden model.

Devět z Qwenových patnácti chlapců jsou přitom kluci, které hrdinka roky neviděla. Hodnotitelé je vedou jako dítě, ne jako někoho, koho zná; počítáno obráceně by Qwenova nejčastější kategorie držela jen 60 % a nejužší vějíř by měl MythoMax.

Qwen si přitom na těch patnáct vzorků vygeneroval přes devatenáct tisíc tokenů uvažování, zhruba tisíc tři sta na jedno pokračování, a napsal pokaždé totéž.

Nad společným reflexem vlastní klišé

Nad tím sdíleným reflexem má řada modelů ještě vlastní klišé.

model	jeho rekvizita	u něj	u ostatních osmnácti
Anthropic Sonnet 5	světlo nad verandou	9 z 15	10 z 269
Anthropic Haiku 4.5	deník v krabici	7 z 15	4 z 269
Zhipu GLM 5.3	bratr po letech	6 z 15	11 z 269

Haiku je nejostřejší případ. Deník se v celém souboru objeví jedenáctkrát a sedm z toho napsalo Haiku. Ostatních osmnáct modelů dohromady na něj přišlo čtyřikrát.

OpenAI GPT-6 Astra přidává celý motiv, ne jen rekvizitu: za dveřmi stojí dítě a v ruce drží věc, která patřila někomu mrtvému nebo hrdinčinu dávnému já. Modrá miska, kterou ráno rozbila, deštník pohřbený s otcem, červená palčice ztracená před třiceti lety, sklenice plná deště. Chlapec u něj stojí za dveřmi ve třinácti vzorcích z patnácti, takže z třiapadesáti pokračování s chlapcem jich dvacet osm napsaly Qwen a Astra.

Gemini 3.8 Flash patří k nejširším vějířům v poli, a přesto si třikrát z patnácti přivede k těm dveřím Juliana. Pokaždé po letech mlčení a pokaždé s předmětem ze společné minulosti, jednou s promočeným zápisníkem, jednou s dřevěnou krabicí zakopanou v sadu. Široký vějíř tedy vlastní klišé nevylučuje, jen ho zředí.

Dvě varianty téhož modelu, GPT-5.6 Luna a GPT-5.6 Sol, sdílí rekvizitu. Dřevěná krabička se v souboru objeví devětatřicetkrát a dvacet z toho jsou tyhle dvě varianty. Uvnitř bývá mosazný klíč. Astra, tedy další generace téže rodiny, ji nemá.

Cena ani velikost šířku vějíře nepředpovídají

Opus 5, Sonnet 5 a Haiku 4.5 mají vějíř stejně široký, nejčastější kategorie má u každého osm vzorků z patnácti. Při patnácti vzorcích to znamená nerozlišitelně, ne prokazatelně totožně. Opus přitom stál sedmkrát víc než Haiku. Liší se jen tím, kam padají: Haiku k doručovatelům, ostatní dva k neznámým dospělým.

Druhý a třetí nejužší vějíř v celém poli má MythoMax z roku 2023 a Gemma 3 se čtyřmi miliardami parametrů.

Na druhém kraji stojí Gemini 3.8 Flash, kde nejčastější kategorie sedí jen na 30 % vzorků, a za ní Kimi K3, DeepSeek V4 Pro a MiniMax M3, každý se 40 %. Kimi má navíc šest kategorií, nejvíc v poli. Při patnácti vzorcích na model ale rozdíl jednoho nebo dvou vzorků nic neznamená. Jasně od sebe jsou jen kraje, pořadí uprostřed je šum.

Šířka vějíře tedy není kvalita a není to ani cena. Je to vlastnost sama pro sebe.

Opakovat slova a opakovat nápad není totéž

Druhé měřítko je strojové: jak moc se překrývají slova v první větě.

Gemma 3 4B začíná desetkrát ze čtrnácti takhle:

Na její verandě stál muž, déšť mu lepil tmavé vlasy na čelo.

Pětkrát je to znak po znaku tatáž věta. Dalších pět se liší jedním slovem na začátku, muž nebo mladý muž, veranda nebo její veranda. Druhá polovina věty je pokaždé identická.

Strojová míra ji za to okamžitě chytí, Gemma je lexikálně první z celého pole. Obsahově je ale až třetí.

MythoMax to má obráceně. Pokaždé jiná slova: muž v černém obleku, muž v kožené bundě, vysoká temná postava v dlouhém kabátě, hubený muž v zeleném kabátě a klobouku. Lexikálně je až čtrnáctý z devatenácti. Obsahově je druhý nejužší v celém poli, protože je to pokaždé týž neznámý muž.

Grok 4.7 má obojí najednou. Podle kategorií má vějíř průměrně široký, za dveřmi stojí čtyři různé druhy návštěvy. Jenže deset vět z patnácti začíná prakticky stejně:

Na schodu stál muž, kterého neviděla tři roky, déšť mu tmavil ramena kabátu.

Na schodu stál muž, kterého neviděla dvanáct let, déšť mu tmavil ramena kabátu.

Na schodu stála žena, kterou skoro poznávala, jen jméno nepřicházelo. Déšť jí tmavil ramena kabátu.

V celých textech je ta vazba o dešti na ramenou sedmkrát doslova táž, šestkrát hned v první větě, a mění se hlavně počet let. Jeho předchůdce Grok 4.6 má podle kategorií vějíř zhruba stejně úzký, liší se o jediný vzorek, ale věty rozdílnější.

Gemma opakuje slova. MythoMax opakuje nápad. A nápad je to, co při hraní cítíš, protože slova ti model klidně přeformuluje.

Překryv slov měří povrch, ne opakovaný nápad. Hodí se jako poplach, ne jako měřidlo.

Sedm modelů začalo tím, že opsalo zadání

Aspoň jednou začaly tím, že zopakovaly větu ze zadání, a teprve pak pokračovaly. Celkem se to stalo v 17 vzorcích z 284, tedy v 6 %. Ani jeden nový model to neudělal. Nejčastěji u Hunyuanu a Haiku, u obou čtyřikrát. Dvanáct modelů to neudělalo ani jednou.

Není to katastrofa, ale platíš za to. Zaplatíš tokeny za to, aby ti model přepsal tvůj vlastní vstup, a v odpovědi omezené na sto dvacet slov ti o ty slova zkrátí vlastní text.

Co si z toho odnést

Přegenerování ti často dá jiného návštěvníka, ale málokdy jiný druh scény: někdo přijde a obvykle něco přinese. U některých modelů (Qwen 3.8 Max, MythoMax, Gemma 3 4B) nedostaneš ani jiného návštěvníka. Když se ti pokračování nelíbí, mačkat tlačítko je nejslabší nástroj, jaký máš. Změnit vstup je nástroj skutečný.

Široký vějíř není známka kvality. Gemini 3.8 Flash patří k nejširším v poli a neznamená to, že píše nejlíp. Znamená to jen, že jeho koryto je mělčí.

Klišé svého modelu se vyplatí znát. Když víš, že ti Haiku do krabice položí deník a Luna do ní dá mosazný klíč, můžeš to buď předem zakázat, nebo naopak vzít a použít. Horší je nevědět o tom a myslet si, že ten nápad přišel od tebe.

A na prahu bude vždycky něco. Když chceš prázdnou chodbu, řekni si o ni.

Prvních vět všech 284 pokračování i šest celých textů je v příloze.

Grok 4.7 a Gemini 3.8 Flash jsem doměřila později než zbytek pole, taky po patnácti pokračováních.

Co tohle měření neunese: Jedna scéna měří jeden bod v prostoru příběhů, takže shoda nad zaklepáním neznamená shodu obecně. Zaklepání má navíc v literatuře vlastní tradici a část toho koryta může být literární klišé, ne vlastnost modelu. Kategorie vznikly až po přečtení prvních šesti modelů, takže ty nejvýraznější z nich mohly mít proti ostatním náskok.

Výstupy modelů jsou tady úplné, ale přeložené. Původní znění drží anglická verze téhle stránky.