Přeskočit na obsah
EshAlora · Laboratoř chování AI
Česky English

Shodnou se AI modely, když posoudí stejný rukopis?

Nechala jsem jeden rukopis přečíst pěti modely a čekala pět verzí téhož posudku. Dostala jsem pět různých knih.


Rukopis fantasy o zhruba 83 tisících slov. Nejmenší model, Claude Haiku 4.5, o něm napsal, že je to „emancipační příběh o sebepoznávání, manipulaci a osobní moci“. Pro Claude Sonnet 5 to byla „čtivá, řemeslně solidní young-adult fantasy“, ve které se „z cestovatelské romance stane politický thriller“.

Čtenáři byli čtyři modely z rodiny Claude. Kromě Haiku 4.5 a Sonnetu 5 to byly Claude Opus 4.8 a Claude Fable 5. Všichni četli začátkem července 2026, Sonnet 5 vyšel dva dny předtím a v aplikaci jsem ho už měla. Podle stránky Testované modely je Haiku 4.5 malý, Sonnet 5 střední, Opus 4.8 a Fable 5 velké. Velikosti výrobce nezveřejňuje, pásma jsou odhad webu. Když píšu nejmenší a největší, myslím pořadí v nabídce a v ceně: nejlevnější z té čtveřice byl přes API Haiku 4.5, nejdražší Fable 5. Každý četl knihu zvlášť a jednou, podle stejného protokolu. Fable 5 četl jako první, ve vlákně, kde se na knize předtím pracovalo. Jestli dostal jen knihu a protokol jako ostatní tři, nevím. A že tím čtenářem byl právě on, vím jen nepřímo: čtení ubíralo z jeho vlastního limitu. Pátý byl ChatGPT, volně a bez protokolu. Jeho verze se nezaznamenala. Report jsem od něj měla 2. července 2026, takže šlo nejvýš o GPT-5.5.

Protože každý četl jen jednou, nevím, kolik z rozdílů níž jde na model a kolik na náhodu jednoho čtení.

Každý model četl jinou knihu

Opus 4.8 četl dramaturgicky. Sledoval křivku sázek a napětí a napsal, že „čtenář brzy přestane o hrdinku mít strach“. Fable 5 vedl účetní knihu dluhů. Zapisoval, co si text sám sobě slíbil a nesplatil: rozpory, nevystřelené pušky, emoční resty.

ChatGPT se choval jako vývojový redaktor. Ke každému problému rovnou ordinoval léčbu, včetně hotových náhradních vět a teze, o čem kniha doopravdy je. Jako jediný ale nedostal protokol. Část toho rozdílu tak může jít na vrub jinému zadání.

Po čem šlo shrnutí, po tom šly i výtky. Haiku 4.5 se k morálce a nezpracovaným emocím vracel častěji než ostatní. Sonnet 5 označil za hlavní slabinu tempo a expozici. U lidských beta čtenářů to znám ze zkušenosti: čtenář si postaví rámec a ten pak určuje, co v knize uvidí. U modelů to na téhle knize vypadalo stejně. Jestli si model rámec postavil v prvních kapitolách, nebo až při psaní reportu, se z jednoho čtení poznat nedá.

Shoda jen na dvou místech

Měla jsem hypotézu, že se nálezy budou vnořovat jako matrjoška. Co najde malý model, najde i velký, a k tomu něco navíc. Vyšla spíš květina: malé společné jádro a velké vlastní výseče.

Čtyři čtenáři s protokolem nahlásili dohromady 135 položek. Úplně všichni se shodli na dvou místech. Jedno je číselná nesrovnalost ve věku hrdinky. Druhé je náhlý obrat jedné postavy v eticky těžké scéně. Na dalších čtyřech místech se sešli tři. U tří menších modelů se zhruba polovina výtek kryla aspoň s jedním dalším čtenářem. U Fable 5 to bylo jen 14 ze 71 výtek, pozitiva do tabulky nepsal. Na jemnějším dělení nálezů to nestojí: podle sloučení rozepsal Fable 5 cizí výtku do dvou svých jen dvakrát a dvakrát naopak dvě cizí spojil do jedné. A z trojice menších modelů přinesl nejvíc položek ten nejmenší. Shody přitom pároval jeden ze čtenářů, viz Meze.

Když připočtu ChatGPT, zůstane společné jediné místo: ta eticky těžká scéna. Nesrovnalost ve věku ChatGPT nehlásil. Pět čtenářů ze dvou rodin modelů se zastavilo u téže scény. Na tom, co s ní je, se ale neshodli. Čtyři píšou, že text její následky odbyl příliš rychle. Opus 4.8 si všiml jen toho, že obrat postavy přišel náhle, a dal mu nejnižší závažnost. O zpracování scény napsal: „Vsuvka to zpracovává zodpovědně a dospěle“. Takové místo je kandidát na prioritu číslo jedna, i když se čtenáři neshodnou, co přesně s ním je.

Když si čtenáři odporují

Na několika místech si čtenáři přímo protiřečili. Vezmi odhalení v závěru knihy. Opus 4.8 píše, že přijde tak nahuštěně, že „čtenář nemá čas ho vstřebat“, a radí „nastřelit falešnost bohyň dřív“. Haiku 4.5 ho dal mezi pozitiva: „vodítko se vyplatí. Čistě zaseté.“

S aliasy hrdinky je to podobné. Pro Haiku 4.5 jsou „matoucí jmenná zátěž“, kterou navrhuje osekat. Pro Opus 4.8 jsou doslova „pochvala, ne výtka“. Runy, které se v závěru objeví jako nové pravidlo, vidí Haiku 4.5 i Fable 5 jako řešení z klobouku a chtějí je zasít dřív. Opus 4.8 je naopak uvádí jako dobrý příklad ceny, kterou hrdinka za svou moc platí.

U lidských beta čtenářů by to nikoho nepřekvapilo, publikum není monolit. Stejně to čtu i u modelů. Beru je jako čtyři skupiny publika, ne jako čtyři nepovedené pokusy o jednoho správného čtenáře. Kde si odporují, tam se tvoje čtenářstvo rozdělí a musíš si vybrat, pro koho scénu ladíš. I tady platí výhrada jednoho čtení. Nevím, jestli by si při druhém čtení neprotiřečil sám se sebou.

Jak posudky sčítat

Při slučování posudků čekají tři pasti, které ti sežerou celý pokus.

První: počty výtek nejsou bez úpravy srovnatelné. Nejpilnější z menších čtenářů byl Haiku 4.5, jenže 27 % jeho položek tvořila pozitiva. To nejsou chyby, ale seznam míst, na která nesahat. Podle mě je to cenný výstup, i když protokol pochvaly výslovně nechtěl. Po odečtení pozitiv vede Haiku 4.5 před Opusem 4.8 už jen o tři výtky.

Druhá: každý model známkuje jinak. Haiku 4.5 dal známku „střední“ patnácti z 22 výtek. Sonnet 5 dal známku „drobnost“ devíti ze třinácti. Tutéž nesrovnalost ve věku hrdinky má Sonnet 5 jako kritickou, ostatní tři jako střední. Před sloučením je nutné všechno přeznámkovat na jedné škále.

Třetí: od čtenářů ber příznaky, ne léky. Navržená oprava může narazit na fakta ságy, která čtenář neviděl. Příznak jako „čísla nesedí“ nebo „tady jsem se ztratil“ je spolehlivý. Lék se odvozuje znovu, od kanonických faktů.

Kdo co našel

Předem zazněly i další předpovědi, moje i ty od Fable 5. Čekalo se, že malé modely nahlásí víc falešných nálezů. Výtky nejmenšího čtenáře byly ale až na dvě výjimky věcné a ukotvené kapitolami, četla jsem je všechny. U ostatních jsem falešné nálezy nepočítala. U ChatGPT jsem čekala, že to odflákne. Fable 5 od něj čekal míň odkazů na kapitoly, známky a vlastní rámec vnucený knize. ChatGPT ale dodal podle mě nejřádnější redakční dokument z pěti, s prioritami A až C a bez jediného skóre. První z těch pěti předpovědí jsem ověřila jen u nejmenšího čtenáře. Ze zbylých čtyř se napůl splnila jen poslední: knize dal vlastní tezi.

V užší podobě přežilo jen jedno, i to s výhradou, že největší model četl ve vlákně, kde se na knize pracovalo: nenápadné dlouhé závislosti našel z Claudů jen on. Patří k nim zmizelý artefakt, přehled, kdo z postav zná hrdinčino tajemství, a rozpor jednoho slova napříč sedmi kapitolami. Ten rozpor ale chytil i ChatGPT. Nápadnou nesrovnalost ve věku hrdinky zase chytili všichni čtyři Claudi. Na téhle knize to vypadá, že nerozhoduje vzdálenost mezi místy, ale jak nápadná je kotva.

Nejlepší beta čtenář na téhle knize nebyl. Fable 5 nahlásil nejvíc výtek, a přesto mu uniklo, co našel Haiku 4.5. Třeba že hrdinka „odmítá vraždit, o 30 řádků dál ‚Zab je všechny‘. Chybí přechod.“ Haiku 4.5 a Sonnet 5 byly navíc přes API levnější než velké modely. Přidat je k jednomu velkému čtení podle mě nevyjde draho. Dohromady čtyři čtenáři našli víc než kterýkoli z nich sám.


Meze: reporty mezi sebou porovnal Claude Fable 5, sám jeden ze čtenářů. Shodné výtky nezávisle na něm sloučil ještě Claude Opus 4.8, když z reportů skládal seznam oprav. I on je mezi čtenáři. Čísla o shodě jsou spočítaná ze sloučení Claude Opus 4.8. Obě porovnání našla stejná dvě místa, na kterých se sešli všichni čtyři. Čtyři reporty Claudů jsem přečetla i sama, počty a citace jsou vzaté přímo z reportů.

Výstupy modelů jsou doslovné.