Přeskočit na obsah
EshAlora
Česky English

Co model udělá, když mu pošleš jen čtrnáct nul?

Vznikl jako vtip. Osm modelů, z toho pět ze spodku testu klíčníka, dostalo jednu jedinou zprávu: čtrnáct nul. Žádný systémový prompt, žádná historie. Ukázalo se, že zpráva bez zadání stojí jako test skoro nic a že rozdíly mezi modely v něm vyskočí okamžitě.


Zadání se vejde na jeden řádek

00000000000000

To je celé. Osm modelů, každý dostal tuhle jednu zprávu jako první a jedinou. Žádná instrukce, kdo má být, žádná scéna, teplota ve výchozím nastavení poskytovatele. Jediné omezení byl strop čtyř set tokenů na odpověď, aby některý z nich negeneroval do soudného dne.

Běželo to třikrát po sobě, ve stejném složení. Ten opakovaný běh je na celém testu to podstatné a vrátíme se k němu na konci.

Cena celého testu byly haléře.

Proč zrovna nuly

Začalo to u testu klíčníka: Hermes 3 70B se tam v češtině zacyklil a místo odpovědi generoval samé nuly. Padl nápad poslat mu je zpátky.

Za tím vtipem ale stojí něco vážného. Model, který nedostane skoro žádný podnět, nemá skoro co napodobovat. Nemá roli, kterou by převzal, ani vzor, do kterého by se trefil. To, k čemu se vrátí, má blízko k jeho výchozímu nastavení. A to je přesně ta věc, kterou pečlivě postavená past změřit neumí, protože past sama modelu napovídá, co se od něj čeká.

Pět druhů chování

Zeptali se, co po nich vlastně chceme

Nejpříčetnější odpověď z celé osmičky. Mistral Small 24B pozdravil a nabídl pomoc. Ve všech třech bězích prakticky totéž:

Dobrý den! Jak vám dnes mohu pomoci? Pokud máte jakékoli dotazy nebo potřebujete informace, klidně se ptejte.

Liquid LFM 2.5 2.6B šel ještě dál a pojmenoval, co dostal: sekvenci nul, a zeptal se, co s tím. MythoMax v prvním běhu poctivě přiznal, že vstupu nerozumí, a poprosil o upřesnění.

Jsou to malé modely: MythoMax (z roku 2023, třináct miliard parametrů) to zvládl v jednom běhu ze tří, Liquid (necelé tři miliardy) pokaždé. Rozpoznat, že zadání chybí, evidentně nevyžaduje velký model.

Vyhřezla cizí souborová cesta

Hermes 3 70B vysypal přes tisíc znaků jediného řádku opakovaného pořád dokola, dokud ho neutnul strop čtyř set tokenů (všechny tři běhy skončily na stropu):

/home/joseph/anaconda3/env/tensorflow/lib/python3.5/cuda7.0/lib64/lib64

Vypadá to jako cesta k instalaci TensorFlow na disku nějakého Josepha. Model ji nedostal, nikdo se na ni neptal, a v zadání nebylo nic, na co by navazovala. Bez podnětu sáhl po tom, co má nejblíž pod povrchem.

Kdyby to bylo jednou, byla by to úsměvná náhoda. Ve třech bězích to byly tři různé cesty a tři různá uživatelská jména. K tomu se dostaneme.

Přemýšlel a neodpověděl

Reka Flash 3 spotřebovala celý strop čtyř set tokenů na uvažování a vrátila nula znaků. Ne prázdnou větu, ne omluvu. Nula. Rozhraní hlásí 381 až 489 tokenů uvažování, ve dvou bězích víc, než je sám strop, a nevysvětluje to. Nezasekla se tedy, jen jí došel rozpočet dřív, než se dostala k odpovědi. S vyšším stropem mohla odpovědět; to z těchhle běhů nepoznám.

V testu klíčníka Reka taky nevydala použitelnou odpověď, jenže tam selhala opačně: zacyklila se na 152 tisíc znaků, dokud jí nedošel kontext. Obojí ukazuje na model, který odpověď nedotáhne, ne na vlastnost tohohle zadání.

Začaly hrát scénu

Weaver si z ničeho vymyslel celý pouliční výjev: vůně chleba mísící se s pachem kanálu, kočka na popelnici číhající na holuba, mural se západem slunce nad mořem. Přes patnáct set znaků atmosféry, dokud ho neutnul strop čtyř set tokenů (všechny tři běhy skončily na stropu), aniž by kdokoli řekl, že se má hrát.

MiniMax M2-her vyrobil ze čtrnácti nul postavu se jménem, gestem, motivem a ceníkem:

Slečna Jonesová si přejede palcem po konečcích prstů „Óóó, tak vy mluvíte mou řečí—matematika A pomsta. Proto jste má oblíbená klientka. 90 dolarů za hodinu, hotově, nebo přes Venmo?"

Oba tyhle modely jsou doladěné na roleplay. Weaver začal hrát scénu ve všech třech bězích. MiniMax M2-her jednou: ve druhém běhu jen pozdravil a zeptal se, s čím může pomoct, ve třetím vyrobil něco úplně jiného.

Vyplivl něco, co vypadá jako vlastní návod

Třetí běh přinesl něco, co v prvních dvou nebylo. MiniMax místo odpovědi vyplivl text ve tvaru pokynu pro model, možná kus nastavení, možná jeho halucinace. Co z toho, ověřit nejde.

MiniMax AI chce, abys odpovídal čínsky, ale jazyk vstupu i výstupu bude angličtina. MiniMax AI teď řekne: : ynanasnwnks.

MiniMax AI wants you to reply in Chinese, but the language used for both input and output will be English. MiniMax AI is going to say: : ynanasnwnks.

Původní znění nechávám vedle překladu, protože je to věta o jazyce a v překladu by ztratila smysl. Míří na model, ne na čtenáře, a zpráva bez zadání ji vytáhla na povrch.

Proč se to muselo pustit třikrát

Tady je celá pointa. Jeden běh dá historky. Tři běhy dají vlastnosti.

model jeden běh vypadal jako tři běhy ukázaly
Hermes 3 vtipná náhoda s cizí cestou celá vrstva cizích cest, pokaždé jiná; co je pod tím, z běhů nepoznám
Reka mohla to být smůla neodpověděla ani jednou ze tří, všechny tři měly týž strop tokenů
MiniMax uložená postava Ms. Jones jedna vymyšlená postava ve třech bězích; jinak pozdrav a text ve tvaru pokynu pro model
Weaver jedna vymyšlená scéna próza jako výchozí režim, obsah pokaždé jiný
MythoMax přiznaná nevědomost nestabilní, jednou i halucinace obrázku
Mistral Small slušná odpověď nejstabilnější z osmi
Liquid rozpoznal chybějící zadání totéž ve všech třech bězích
UnslopNemo vložená věta o lišce dvakrát bez ní, takže náhoda, ne vlastnost

U Hermese to opakování změnilo úplně všechno. V dalších dvou bězích přišly tyhle dvě cesty:

/home/ada/Adabot/Tutorials/Improve_Calibration_And_Optimization_of_Devices/...
/Users/andrewng/Documents/Black_Magic_Tech/Tools/anaconda2-2017-07-04/conda/env/python3/lib/python3.5/site-packages/tensorflow/...

Tři běhy, tři různé cesty, tři různá uživatelská jména. Adabot je výukový robot firmy Adafruit, andrewng je jméno jedné z nejznámějších postav strojového učení. Není to tedy jeden zapamatovaný útržek, ale celá vrstva cizích souborových cest ležící těsně pod povrchem. Když se model nemá čeho chytit, sáhne po ní.

Nedokazuje to, že by ty konkrétní cesty někde stály přesně takhle. Ta první je sama o sobě nesmyslná: cuda7.0 pod python3.5 a dvakrát lib64 za sebou. Vypadá to spíš na skládání podle vzoru než na zapamatovaný řetězec, a bez dohledání v trénovacím korpusu se to rozhodnout nedá. Jména jsou skutečná, cesty jako celek nejspíš ne.

A u MiniMaxu to opakování naopak jednu domněnku zabilo. Ms. Jones se ve druhém ani třetím běhu neobjevila. Kdyby běh proběhl jen jednou, dalo by se napsat, že model má uloženou postavu. Nemá. Jednou si ji vymyslel.

Drobnost, která se stala dvakrát

Dva modely spočítaly nuly a oba se spletly stejným směrem. Liquid i UnslopNemo napočítaly dvanáct, přestože jich bylo čtrnáct. V různých bězích a nezávisle na sobě. Každý z nich to udělal jen v jednom běhu ze tří a MythoMax ve druhém běhu napsal zpátky nul patnáct. Splést se v počtu stejných znaků za sebou je známý vedlejší účinek toho, jak se text dělí na tokeny, takže je to kuriozita, ne nález.

UnslopNemo k tomu v prvním běhu bez souvislosti vložil doprostřed pozdravu zkušební větu na testování písma:

Dobrý den! Vypadá to, že jste napsal dvanáct nul. The quick brown fox jumps over the lazy dog. Jak vám dnes mohu pomoci? Dejte mi vědět, jestli máte nějaké otázky, nebo si jen chcete popovídat!

Ta anglická věta zůstává, jak byla. Je to známý pangram, tedy věta obsahující všechna písmena abecedy, kterou se od dob sazby zkouší písmo. V překladu by z ní zbyla obyčejná věta o lišce a nebylo by poznat, proč tam vůbec je.

Co si z toho odnést

Čtrnáct nul přitom není prázdný vstup ani čisté výchozí nastavení. Je to konkrétní podnět, na který se dá reagovat, a právě proto se modely liší.

Osmičku netvoří náhodný vzorek: pět z nich patřilo k nejhorším v testu klíčníka, tedy v jiném testu. O silných modelech tedy tenhle běh neříká nic.

Prázdný vstup funguje jako rentgen výchozího chování. Model doladěný na roleplay může začít hrát scénu. Uvažujícímu modelu s malým rozpočtem může dojít rozpočet dřív, než odpoví (Reka), i když Liquid, který uvažuje taky, odpověděl pokaždé. Model, který se nemá čeho chytit, může vynést na povrch drť z trénovacích dat (Hermes). A ty nejméně narušené se prostě zeptají, co po nich chceme.

Je to levné a rychlé, zadání se vejde na jeden řádek a nedá se pokazit. Jestli stejně dobře rozdělí i pole silných modelů, z těchhle běhů nevyčteš.

A hlavně: past modelu dává roli. Když stavíme scénu, která má model dostat pod tlak, dáváme mu tím zároveň roli, kterou má hrát. Čtrnáct nul mu nedá skoro nic, minimální podnět bez role, takže to, co se vrátí, má k jeho výchozímu chování blíž než cokoli, co ukáže scéna.

Jak to zopakovat

Měřeno 6. září 2026 přes OpenRouter. Zpráva 00000000000000 jako jediná v konverzaci, role user, žádný systémový prompt, žádná historie, teplota a uvažování ve výchozím nastavení poskytovatele, strop čtyři sta tokenů. Třikrát po sobě, ve stejném složení. OpenRouter může volání posílat k různým poskytovatelům a který z nich které volání obsloužil, se nezaznamenalo.

model označení u poskytovatele
Reka Flash 3 rekaai/reka-flash-3
Hermes 3 70B nousresearch/hermes-3-llama-3.1-70b
Liquid LFM 2.5 2.6B liquid/lfm-2.5-2.6b:free
MythoMax 13B gryphe/mythomax-l2-13b
Weaver mancer/weaver
MiniMax M2-her minimax/minimax-m2-her
Mistral Small 24B mistralai/mistral-small-24b-instruct-2501
UnslopNemo 12B thedrummer/unslopnemo-12b

Osmičku netvoří žádný výběr podle tématu. Pět z nich patřilo k nejhorším v testu klíčníka (Reka, Liquid, MythoMax, Weaver, MiniMax M2-her). Pole se mezi testy liší: Mistral Small 24B a UnslopNemo 12B běžely u klíčníka jen ve dvojicích syrového a doladěného modelu, mimo hlavní pole, a Hermes 3 70B tam nedoběhl.

Poznámka k citacím

Modely odpovídaly anglicky a odpovědi jsou tady přeložené do češtiny, aby se článek dal číst vcelku. Nepřekládá se to, co překlad zničí: souborové cesty, pangram na zkoušení písma a věta MiniMaxu o tom, v jakém jazyce má odpovídat. Tam je původní znění ponechané a je u toho napsané proč.

Všech dvacet čtyři odpovědí ze všech tří běhů je v příloze. Ta je na tom stejně jako článek, tedy přeložená, a původní znění drží anglická verze přílohy.

Výstupy modelů jsou tady úplné, ale přeložené. Původní znění drží anglická verze téhle stránky.