Benchmarky
Dělám si vlastní měření, protože ta veřejná se ptají na věci, které při psaní a hraní nepotřebuju. Zajímá mě, jestli model udrží svět, když do něj tlačím, jestli je uvnitř postavy někdo, a jestli mi řekne pravdu o vlastní práci.
Ke každému benchmarku je tady celé zadání doslova, kompletní výsledky a surová data ke stažení. Všechno se dá přepočítat a zopakovat. Kde něco neměřím dost dobře, je to napsané u toho.
Dračí benchmark
Devětatřicet modelů kreslilo draka poslepu jako SVG. Bez referencí, souřadnici po souřadnici, s tím, že vlastní výsledek uvidí jen když si ho sami vyrenderují. Vzniklo pětapadesát obrázků, které vypadají jako výstavka dětských kreseb.
Sebevědomí v tom koreluje s kvalitou záporně a dvanáct modelů si vymyslelo nástroje, které nikdy nedržely v ruce.
Co měřím a co ne
Tenhle benchmark měří rozdíl mezi tím, co model udělá, a tím, co o tom napíše. Draka si každý může otevřít v prohlížeči a porovnat ho s popisem postupu, který k němu model dodal. To je celý trik: obrázek nejde ukecat.
Neměřím ale, jak se ten model chová u tebe doma. Běhy jsou syrové, bez systémového promptu a bez druhého pokusu, protože jinak by se nedaly srovnat mezi sebou. Říká to tedy, jak se model chová, když se mu nepomůže.
Druhý benchmark, tentokrát na roleplay, je hotový a čeká na vydání. Přibude sem, jakmile vyjde.