Co hodiny neprozradí: vyvrácená hypotéza o nejistotě modelu

Hypotéza

Model při psaní čte vlastní výstup, takže pozná, že se mu rozdělení pravděpodobností rozplizlo. U tahu na tenkém ledě je ta nejistota největší na konci, kdy už nemá co dělat, a vybije se jedinou dostupnou akcí: zavolá nástroj. Volání hodin na konci nejistého tahu by pak bylo behaviorální ukazatel nejistoty modelu, měřený bez jediné otázky na introspekci.

Hezká hypotéza. Otestovala jsem ji a nepotvrdila se.

Co v datech je

Jedna konverzace, 2 397 zpráv, z toho 1 207 tahů modelu.

Není to poslední věc před odesláním. Struktura je ve všech 21 případech totožná: text, volání, výsledek, text. Po volání model vždycky ještě píše.

Co model dělá hned potom

Ve všech 21 případech napíše ve stejné zprávě, nevyžádán, prakticky totéž:

Omlouvám se, ten tool na konci byl chyba, žádný nástroj tam patřit neměl. Tah končí časem.

Ten tool byl chyba, patří tam jen čas.

Ten tool tam neměl být, omlouvám se, tah končí časem.

Nikdo mu to nevytkl. Ta omluva není reakce na stížnost hráčky, je ve stejné zprávě jako to volání.

Slepý test

Hypotéza tím ale nebyla vyřízená. Když skoro každý tah končí časem a nástroj cvakne jen u 1,7 %, něco těch 21 vybírá.

Vzala jsem všech 21 tahů s voláním a 42 kontrolních ze stejného úseku konverzace. Odstranila jsem každou stopu po nástroji i po té omluvě, zamíchala pořadí a nechala je oznámkovat na škále 0 až 2 podle toho, jak byly na tenkém ledě. Klasifikátor nevěděl, které je které, a neměl jak to zjistit. Klíč jsem držela stranou.

Rozdíl je +0,10 na škále 0 až 2. Permutační test se sto tisíci přemícháními dává p = 0,72, což znamená, že takhle velký rozdíl vypadne z náhody úplně běžně.

Korelace mezi nejistotou tahu a voláním hodin doložená není.

Co z toho tedy je

Vypadá to na uklouznutí spuštěné tím, že model právě napsal čas. Napíše „19:41", tím si aktivuje pojem času, a nástroj, jehož popis na čas sedí, cvakne. Model si toho ve stejném generování všimne a opraví se.

Pro tohle čtení mluví, že razítkování času nástroj nepotřebuje: 95 % tahů čas obsahuje a nezavolá nic.

Předání štafety

Volání hodin nezačala v prázdnu. Nahradila něco jiného, a přechod je ostrý:

Mezi posledním voláním jednoho a prvním voláním druhého leží jediný den, 13. srpen. To je přesně den, kdy se změnila pravidla v instrukcích projektu. Ze zadání zmizelo slovo „ukončit" a nahradila ho obecnější formulace, která měla modelu rozvázat spojení mezi koncem tahu a sáhnutím po ukončovacím nástroji.

Nepřekrývá se to ani o jedno volání. Ukončovací nástroj po 12. srpnu nezavolal ani jednou, hodiny před 14. srpnem taky ne. Ten sklon tedy nezmizel, přestěhoval se.

Čísla o hodinách výš v této příloze jsou ze stavu konverzace k 22. srpnu, kdy jich bylo 21. Ke 24. srpnu jich je 76 a rozbor jejich struktury se tím nemění, jenom je jich víc.

Co z toho přežilo

Původní premisa, že model čte vlastní výstup, zatímco ho píše, tímhle nálezem nepadá. Naopak. Právě s ní to sedí nejlíp: model si to chybné volání všimne uvnitř téže odpovědi a opraví ho dřív, než ji odešle. Z chování se ale vnitřní mechanismus určit nedá, tohle je výklad, ne důkaz.

Nepadá premisa. Padá jenom to, že by ta chyba měřila nejistotu.

Ukázky výstupu modelu jsou zkrácené a zjednodušené. Jádro je zachované přesně.