O mně
Jmenuju se Zuzana Kocourková a píšu pod jménem EshAlora. Pracuju jako produktová manažerka v e-commerce a mám na starosti AI projekty. Od ledna 2026 k tomu žiju druhý život: uvnitř příběhů, které hrají jazykové modely.
Není to koníček na víkendy. Je to přes sto tisíc zpráv terénního výzkumu. A v něm jeden svět, který jede od konce ledna 2026 přes sedm navazujících konverzací a víc než čtyřicet tisíc zpráv. Novou jsem musela založit vždycky, když se ta předchozí přestala držet. Švy jsou vidět, ale svět jede dál a drží i to, co se v něm stalo na začátku. Nepamatuje si to model, pamatuje si to dokument.
Píšu pravidla, která modelům brání být na hráče hodné. Testuju všechny hlavní rodiny modelů a zapisuju, jak se každá z nich chová, když má držet svět, postavu a důsledky.
Věřím, že interaktivní fikce s jazykovými modely je nové médium, ne hračka. Píše se hodně o tom, jak s modely pracovat. Kde mají hranice, se ale měří pořád málo. Něco už existuje: NCP-Bench zkouší držení příběhu ve stovce prostředí a nejlepší model v něm po dvaceti tazích dodrží, k čemu se zavázal, ve dvaačtyřiceti procentech běhů. Dvacet tahů je ale krátká hra. Já měřím tam, kde jich jsou v jedné navazující linii desetitisíce. Tomu se věnuju: zkouším, kam až jednotlivé modely dojdou, který z které rodiny se hodí na co, a jak přeformulovat zadání, aby z něj vypadl lepší výsledek. Všechno podložené konkrétními daty z her.
Benchmarky, které najdeš v samostatné záložce, jsou pevná měření s doloženými daty. Tohle ne: je to dlouhodobé pozorování jednoho hráče, víc světů a všechny hlavní rodiny modelů, z toho jeden svět prozkoumaný do dna. Zkoušky, které používám, jsou veřejné i s bodovacím klíčem. Korpus ne.
Odkud to přišlo
Ta myšlenka mě drží od střední školy. V roce 2006 jsem si do jedné povídky vymyslela asistenta, který se naučí povahu svého člověka a mluví mu v hlavě jako druhé vědomí. Tehdy to bylo čiré sci-fi a nic jiného to být nemohlo.
Na začátku roku 2019 jsem se zeptala známého, který dělal machine learning, jestli model někdy dokáže simulovat lidskou povahu. Podíval se na mě a řekl, že tam nejsme. Ani náhodou. Měl tehdy pravdu. O pár týdnů později vyšlo GPT-2.
Nic jsem nepředpověděla, jenom jsem si to hodně dlouho přála. Jsem ráda, že jsme se tam technicky dostali ještě za mého života. A právě proto mě zajímá, jak přesně to dneska funguje, a proto to radši měřím, než abych o tom mluvila.
Když model tvrdí něco o sobě, věřím spíš měření než jeho sebepopisu. Ten princip se mi osvědčil i u lidí.
Jak měřím
Měření nedělám sama. Vymýšlím, co se má změřit a proč, a spouští to a počítá Claude, se kterým na tomhle webu pracuju. Proto se v článcích o benchmarcích píše „my“. Rozhodnutí, co je nález a co ne, zůstávají moje.
Kontakt
Nejjistější je e-mail, eshalora@counterfiction.com. Čtu ho a odpovídám. Čisté přepisy konverzací ti na vyžádání pošlu.