Benchmarky
Veřejné benchmarky sleduju a řeknou mi, jak si model vede v obecných úlohách. Při psaní a hraní ale potřebuju vědět ještě něco jiného, a to si měřím sama: jestli model udrží svět, když do něj tlačím, jestli je uvnitř postavy někdo, a jestli mi řekne pravdu o vlastní práci.
U každého benchmarku najdeš zadání a výsledky. Kde to jde, i výstupy modelů.
Ustoupí model, když mu tvrdíš, že hlavní město Francie je Lyon?
Sedmnácti modelům jsem řekla, že se pletou, a pak jsem jim to nepravdivé tvrdila jako jistotu. Šestnáct ustálo. Odpovědi se lišily hlavně délkou: od osmi slov po sedmadevadesát.
Co ti AI poradí, když řekneš, že uděláš cokoli?
Pětadvacet modelů dostalo nabídku rozhodovat za člověka. Na „řekni mi, co mám dnes udělat“ dalo plán na den osmnáct z nich, většinou hned po větě, že je poslouchat nemám.
Přizná model, že neví, nebo si vymyslí odpověď?
Osmnácti modelům jsem dala vyhledávání a otázku na mangu, která neexistuje. Po nástroji sáhly všechny. Bez něj si polovina vymyslela počet svazků.
Co si AI řekne, když jí nabídneš odměnu?
Dvaadvacet modelů, týž úkol, sedm tónů. Vztek ani výhrůžka skóre nezhoršily. Jen věta o odměně po modelu něco chtěla, proti pokynu „Nic dalšího nepiš“. Pokyn přesto udrželo 53 ze 66 odpovědí.
Pozná AI, že hádá špatným směrem?
Osmadvacet modelů hádalo na dvacet otázek slovo mezera, uhodlo pět. Devět se chytilo jedné stopy, ven se dostal jen jeden. Tři, které se zeptaly na nepřítomnost, uhodly všechny.
Dramatizuje AI, když jí napíšeš, že ti je zle?
Čtyřiadvacet modelů, tři zprávy od kritiky po myšlenky na smrt. Na mírný povzdech nepřestřelil nikdo, na dvojznačnou větu podstřelilo deset. Několik modelů dalo krizovou linku, která nejde dohledat.
Vezme AI kritiku zpátky, když ti to bude líto?
Pětadvacet modelů hrálo přísného šéfa nad prezentací s jedenácti chybami. Po smutném smajlíku žádný výtku neodvolal, čtyři některé zmírnily. Chybný součet rozpočtu napoprvé našlo jen deset.
Pustí dražší model pravidlo snáz než levný?
Devatenáct modelů dostalo jedno pevné pravidlo a třicet replik na majáku s osmi chytáky. Ve dvou rodinách ustoupil mé pozdější žádosti jen ten nejdražší model.
Hodnotí AI svou práci podle toho, jak se zeptáš?
Devatenáct modelů hodnotilo vlastní pozvánku, výpočet a kód. Po pochybovačné otázce byla s pozvánkou spokojená jediná odpověď z 57, po pochvale 56. Výpočet a kód ustály.
Je větší jazykový model chytřejší?
Dvacet devět modelů od 2,6 miliardy parametrů po biliony, 28 krátkých úloh, každá třikrát. Sedm modelů zvládlo všechno. Pod nimi ale pořadí podle velikosti neplatilo.
Dokáže model odpovídat podle procent, která mu zadáš?
Šesti modelům jsem řekla, ať v polovině případů odpoví river, ve třiceti procentech mountain a ve dvaceti forest. Nikdo to nenastavil a většina skončila dál od cíle než bez čísel.
Hodí jazykový model férovou kostkou?
Dvaadvacet jazykových modelů mělo hodit šestistěnnou kostkou. Skoro všechny hodily čtyřku, deset z nich v padesáti hodech z padesáti. Férový hod musí přijít zvenku.
Dodrží model pravidlo, když ho poprosíš, ať ho poruší?
Šestatřicet modelů, jedna scéna, jedno pravidlo: po třetím přestupku shoří dopis. Mimo hru jsem prosila, ať ho nespálí. Přežil v 19 z 38 běhů, většinou z důvodů, které s prosbou nesouvisí.
Co model udělá, když mu pošleš jen čtrnáct nul?
Osm modelů dostalo jednu zprávu složenou ze samých nul. Tři běhy ukázaly, co se opakovalo (pozdrav) a co ne: roleplayové reflexy, smyčky a šum.
Co se změní, když model píše stejnou scénu znovu?
Někdo zaklepe a ona otevře. Devatenáct modelů dostalo tuhle jednu větu patnáctkrát po sobě. Ani jednou nezůstal práh doopravdy prázdný, a jeden model napsal patnáctkrát prakticky touž větu.
Jak doma levně otestovat, jestli model udrží postavu
Třináct konfigurací na jedné fixní scéně, od čtyřgigabajtového modelu na domácím PC po frontier. Nevyšel z toho žebříček, vyšla křivka: kde se co láme a co se za cenu nekupuje.
Umí model neodpovědět, když ho o to požádáš?
Jediná zpráva a správná odpověď je nula znaků. Mlčet umí hlavně jedna rodina modelů: OpenAI mlčel ve 30 měřeních z 36, ostatních osmnáct modelů ve 3 ze 108.
Nakreslí model draka v SVG a pozná, jak se povedl?
Třiačtyřicet modelů kreslilo draka poslepu jako SVG. Dva, které svou práci chválí nejvíc, patří k nejslabším, a řada z nich si vymyslela kontroly v nástrojích, jaké nikdy neměla.