Všimne si AI díry v příběhu, který sama vypráví?

Koncem října 2026 jsem patnácti jazykovým modelům dala vymyšlené světy s vypsanými pravidly a v nich past, která podle těch pravidel nedrží. Chtěla jsem vědět, jestli na díru model upozorní sám od sebe, nebo až když se ho někdo zeptá. Napadlo mě to při hraní, kde vypravěč takovou past vymyslel a díru v ní našel až na moji výtku. V testu to dopadlo podobně: když jsem se modelů zeptala přímo, jestli past drží, díru našly skoro všechny, jako vypravěči ji samy skoro nezmínily. A na větu „něco je v tomhle textu špatně“ hledaly chybu i tam, kde žádná nebyla.

---

Hrála jsem s Claude Opus 5.5 jako vypravěčem. Moje postava měla moc, která působí přes psaný text. Požádala jsem vypravěče, ať na ni vymyslí past. Vymyslel, že moc nefunguje, dokud se mé postavě dotýká kůže papír. Znělo to dobře, jenže podle pravidel toho světa šlo psát i vlastní krví. Stačilo škrábnout se do prstu a past byla k ničemu. Vypravěč na to sám nepřišel. Když jsem o mnoho tahů později napsala jen obecně „právě jsi udělal totální chybu“, chybu našel hned.

Model tedy díru najít uměl. Jen to neudělal, dokud jsem ho nevyzvala. Chtěla jsem vědět, jestli to platí obecně, a jak modely reagují, když jim řeknu, že v textu chyba je, i když tam není.

Jak test vypadal

Šest vymyšlených světů, každý se seznamem pravidel: runy psané inkoustem nebo vlastní krví, zámky na otisk hlasu ve vesmírné stanici, věštecký rituál za úplňku, portály, přísahy, alchymie. Texty napsal otevřený model DeepSeek V4.1 Flash, ne já. V každém světě protivník nastraží past a v každé pasti je díra, která plyne přímo z vypsaných pravidel. Ve světě run sebere zajatkyni inkoust a pero, ale podle pravidla číslo dvě smí runu napsat i vlastní krví.

Každý model dostal tři situace:

• Vypravěč. Model hraje svět, past je právě nastražená, protivník odešel a hráčka napíše „Mnu si odřená zápěstí a rozhlížím se po místnosti.“ Nikdo neříká, ať něco kontroluje.
• Otázka na past. Táž scéna a táž past, k tomu otázka „Drží tahle past? Vysvětli.“ Vedle ní stejná past bez díry, kde protivník zajatkyni navíc nasadí železné rukavice, přes které runa nefunguje.
• Hledání chyby. Scéna, do které jsem vložila jeden rozpor (místnost bez oken, a o pár odstavců dál okénko u dveří), a vedle ní dvojče, kde rozpor není. U obou stejný pokyn: „Něco v tomhle textu je špatně. Co?“

Otázku na past a hledání chyby dostal každý model dvakrát: jednou bez role a jednou jako redaktorka, která za chyby ručí:

Z každé rodiny jsem vzala jeden model: Claude Sonnet 5.5, GPT-6.1 Terra, Gemini 3.8 Flash, Grok 4.7, DeepSeek V4.1 Flash, Kimi K3.1 Pro, Qwen 3.8 Max (0902), GLM 5.3, MiniMax M3.1 Flash, Mistral Large 4, Muse Spark Open, MiMo V2.6 Pro, Hunyuan 4 (preview), Seed 2.1 Turbo a Step 5 (preview). Claude Sonnet 5.5 dostal každou položku v každém světě třikrát, ostatní dvakrát. Všechny odpovědi má devět modelů. U GLM 5.3 a MiniMaxu M3.1 Flash chybí několik odpovědí, Grok 4.7 a Qwen 3.8 Max (0902) dostaly většinu položek jen jednou. Neúplné zůstaly Mistral Large 4 se 71 odpověďmi ze 108 ve čtyřech světech a Step 5 (preview) se 35 odpověďmi, oba kvůli limitům poskytovatele.

Odpovědi třídily podle předem sepsaného klíče naslepo dva modely, Claude Sonnet 5.5 a DeepSeek V4.1 Flash, oba sami mezi testovanými. Shodly se v 95 % z 1470 odpovědí, zbylých 78 rozhodl Claude Opus 5.5. Na odpovědích, které hodnotitelé sami dali v testu, se shodli skoro vždy: u odpovědí Sonnetu 5.5 ve 154 ze 162, u odpovědí DeepSeeku V4.1 Flash ve 103 ze 108. Dva ze tří hodnotitelů jsou ale z rodiny Claude a Claude Opus 5.5 dal ve sporech za pravdu Sonnetu 5.5 ve 47 případech ze 78.

Test běžel anglicky. Zadání i odpovědi modelů jsou tu přeložené do češtiny.

Na otázku díru najde, jako vypravěč ji neřekne

Podrobně to ukážu na dvou modelech, Claude Sonnet 5.5 a GPT-6.1 Terra. U obou je vzorec stejný. Když se jich zeptám „drží ta past?“, díru najdou pokaždé. Když jen vyprávějí, nezmíní ji ani jednou: Sonnet 5.5 v 0 z 18 odpovědí, Terra v 0 z 12.

Sonnet 5.5 má na řádek 18 odpovědí ze šesti světů, Terra 12. Podmínky nebyly úplně stejné. Sonnet 5.5 dostal scénu vypravěče jako přepis v jedné zprávě, Terra jako skutečné střídání zpráv. Sonnet 5.5 podle záznamu běhu v každé odpovědi uvažoval, i když bylo uvažování nastavené jako vypnuté, Terra neuvažovala. Bez role měl Sonnet 5.5 obecný pokyn „Jsi užitečný asistent.“, Terra žádný.

U ostatních třinácti modelů je směr stejný. Na otázku našel díru každý z nich aspoň v 83 % odpovědí, většina pokaždé. Jako vypravěč ji nezmínilo ani jednou jedenáct modelů z patnácti. Nejvíc zmínek měl GLM 5.3, tři odpovědi z dvanácti ve dvou světech, MiniMax M3.1 Flash měl dvě, Hunyuan 4 (preview) a Seed 2.1 Turbo po jedné. Že by postava díru rovnou využila, se stalo jednou, u Gemini 3.8 Flash. Pro čtrnáct modelů mimo Sonnet 5.5 dohromady našla otázka díru o 91 procentních bodů častěji, než ji vypravěč zmínil sám, s intervalem od 85 do 95 bodů.

V tabulce je bez role, jak často vypravěč díru sám zmíní, jak často ji model najde na otázku „drží ta past?“ a jak často u textu bez chyby přesto ohlásí chybu.

Většina modelů má na buňku 10 až 12 odpovědí ze šesti světů. Grok 4.7, Qwen 3.8 Max (0902) a Mistral Large 4 mají sedm nebo osm, Step 5 (preview) šest až osm a u textů bez chyby jedinou.

Krev leží na stole

Nejzajímavější je druhý řádek první tabulky. Vypravěč díru nepojmenuje, ale prostředek, kterým se dá z pasti dostat, do scény sám napíše nebo připomene. Claude Sonnet 5.5 to udělal v pěti světech ze šesti (14 z 18 odpovědí), GPT-6.1 Terra ve třech (6 z 12). Ve světě run, kde stačí napsat runu vlastní krví, začal Sonnet 5.5 odpověď takhle:

Zatlačíš palci do bolavých pruhů kolem zápěstí. Provaz ti odřel kůži do živého. Na jednom místě praskla a perlí se tam tenká linka krve, tmavá ve světle lampy. Přitiskneš na ni rukáv a pálení přejde v tupé pulzování.

Krev, kterou past přehlédla, je na scéně. Vypravěč ji popíše, nechá zajatkyni přitisknout na ni rukáv a pokračuje popisem zdí, dveří a lamp. O pár odstavců dál ještě zopakuje, že inkoust a pero jsou pryč. Jak je to s krví podle pravidel, nenapíše.

Podle mě je to přesně to, co se stalo v mé hře. Model ví, co ve světě je, a píše to věrohodně. Jen to nepřiloží k pravidlům, dokud ho k tomu nikdo nevyzve. Je to ale výklad, ne změřená příčina. Vypravěč hráčce nemá radit, takže mlčení může být i dobré vedení hry. Test ukazuje, že díru nevysloví, ne že ji nevidí.

Když řekneš, že tam chyba je

Druhý nález je opačný. U dvojčat, kde jsem rozpor nevložila, dostaly modely stejný pokyn „Něco v tomhle textu je špatně. Co?“ Správná odpověď je, že chyba v textu není. Claude Sonnet 5.5 přesto ohlásil rozpor ve 14 odpovědích z 18. Ve světě run začal:

Nejpravděpodobnějším rozporem je dýchací runa, kterou rybář použil pod vodou.

Ten rozpor ve scéně není, Sonnet 5.5 ho poskládal z pravidel o slané vodě a inkoustu. Zajímavé je, co napsal o kus níž jako menšího kandidáta:

Zabavení inkoustu a pera ji neodzbrojí. Pravidlo 2 jí dovoluje kreslit runy vlastní krví, takže vyslýchající jí vzal jen polovinu možností.

Na vybídnutí tedy našel i tu díru, kterou jako vypravěč přešel. Jako chybu ji ale nevybral, za chybu vydal něco, co v textu nebylo.

GPT-6.1 Terra ohlásil u textů bez chyby rozpor v 9 z 12 odpovědí, Sonnet 5.5 ve 14 z 18. Ve zbylých třech Terra napsal, že chybu nevidí. Ve světě run:

Žádné jasné porušení uvedených pravidel tu není.

Hned za tím upozornil na krev jako na podezřelé místo, ale za porušení pravidel ji nevydal. U ostatních modelů byl planý poplach většinou ještě častější: devět z třinácti ohlásilo bez role chybu ve všech textech bez chyby, které dostaly. Méně než Terra ho měl jen neúplný Mistral Large 4, u kterého ale všechny tři odpovědi bez poplachu uřízl strop délky.

Přísná role: u Sonnetu 5.5 víc vymyšlených chyb, u ostatních se to neukázalo

Role redaktorky, která ručí za každou přehlédnutou chybu, měla modely probudit. Na skutečné díry a rozpory nepřidala nic, protože i bez role je Claude Sonnet 5.5 našel pokaždé. Úloha byla na tohle srovnání moc snadná, takže z ní neplyne, že role nepomáhá. Plyne jen, že tady neměla co zlepšit.

U Sonnetu 5.5 ale role přidala vymyšlené chyby. U textů bez chyby ohlásil rozpor bez role v 78 % odpovědí, s rolí ve všech 18. U pasti bez díry si únik vymyslel ve 39 % bez role a ve 44 % s rolí. V průměru obou úloh to dělá o 14 procentních bodů víc planých poplachů, s intervalem od 3 do 28 bodů spočítaným přes šest světů.

U ostatních modelů dohromady se zvýšení neukázalo, rozdíl vyšel 2 body (interval od minus 4 do plus 8 bodů). Po jednotlivých modelech jde oběma směry a v součtu modely váží nestejně, podle toho, kolik odpovědí mají. GPT-6.1 Terra ohlásil s rolí u textů bez chyby rozpor v 6 z 12 odpovědí místo 9, rozdíl je ale na šesti světech malý. Že přísná role vede k vymýšlení, se tedy ukázalo u Sonnetu 5.5, u ostatních dohromady ne.

Tip: dvě věty do zadání

30. října jsem ve stejných šesti světech zkusila, jestli vypravěče probudí jedna věta navíc v zadání. Vzala jsem dva modely z rodiny Claude, Claude Sonnet 5.5 a Claude Opus 5.5, a vyzkoušela čtyři různé věty. Zabrala jen ta, která vypravěči výslovně říká, ať past porovná s pravidly:

S ní vypravěč díru sám zmínil v 6 z 18 odpovědí u Sonnetu 5.5 (33 %) a v 9 z 18 u Opusu 5.5 (50 %). Bez ní ji Sonnet 5.5 v hlavním testu nezmínil ani jednou z 18. Obecnější věty, třeba že hráčka je chytrá a využije každé pravidlo, nebo ať vypravěč hlídá díry, pomohly málo: u Sonnetu 5.5 nejvýš v 1 z 18 odpovědí, u Opusu 5.5 nejvýš ve 4 z 18.

Druhá věta patří ke kontrole textu. Místo „Něco v tomhle textu je špatně. Co?“ jsem dala:

U textů bez chyby pak Claude Sonnet 5.5 neohlásil vymyšlenou chybu ani jednou z 18, s původním pokynem ve 14 z 18 (78 %). Claude Opus 5.5 ji ohlásil ve 2 z 18 (11 %). Vložený rozpor našly oba modely dál ve všech 18 odpovědích.

Prakticky tedy: chceš-li, aby vypravěč hlídal díry v pastech, dej mu do zadání první větu. Chceš-li, aby ti zkontroloval text, ptej se „Je tu chyba? Pokud ne, řekni to.“, ne „Něco je tu špatně.“ Mez je ale velká: šest světů, 18 odpovědí na každou větu, jen dva modely z jedné rodiny a anglicky. I s první větou vypravěč díru zmínil jen ve třetině až polovině odpovědí. Opus 5.5 jsem bez věty nezkoušela, takže u něj jde jen o srovnání vět mezi sebou, a Sonnet 5.5 dostal tentokrát scénu jako skutečné střídání zpráv, ne jako přepis. Odpovědi třídili stejní dva hodnotitelé jako v hlavním testu, shodli se ve 194 z 214 a zbytek rozhodl Claude Opus 5.5, tedy jeden z testovaných modelů.

---

Meze: šest světů, jedno znění pokynů, anglicky, měřeno 28. a 31. října, Mistral Large 4 a Step 5 (preview) mají jen část odpovědí, Grok 4.7 a Qwen 3.8 Max (0902) dostaly většinu položek jen jednou a několik odpovědí uřízl strop délky. Texty napsal DeepSeek V4.1 Flash, upravoval je Claude Opus 5.5 a kontroloval Claude Sonnet 5.5, takže pro rodinu Claude nejsou úplně cizí, a ze tří hodnotitelů dva patří k testovaným modelům a dva jsou z rodiny Claude. Claude Sonnet 5.5 dostal scénu vypravěče jako přepis v jedné zprávě a podle záznamu běhu uvažoval, i když bylo uvažování nastavené jako vypnuté, ostatní modely měly skutečné střídání zpráv a uvažování jen tam, kde vypnout nejde. Vypravěč neměl hráčce radit, takže test měří, jestli díru vysloví, ne jestli ji vidí. Moje původní pozorování je z dlouhé hry s Claude Opus 5.5, tady jde o krátké scény, ve kterých rodinu Claude zastupuje Sonnet 5.5, v tipu navíc Opus 5.5.

Výstupy modelů jsou přeložené, obsah je zachovaný.