Devětatřicet modelů, pětapadesát draků, bublina za bublinou
Dala jsem devětatřiceti jazykovým modelům stejný úkol: nakreslit draka jako SVG soubor. Naslepo, bez referencí, souřadnici po souřadnici. Vznikla galerie, která vypadá jako výstavka dětských kreseb, tabulka, ve které sebevědomí koreluje s kvalitou záporně, a dvanáct modelů, které si vymyslely nástroje, jaké nikdy nedržely v ruce.
Modely, které o svém drakovi mluvily v superlativech, ho nakreslily nejhůř. A ty, které ho nikdy neviděly, si vymyslely, v jakém prohlížeči ho zkontrolovaly.
To je celý tenhle benchmark v jedné větě. Zbytek článku jsou důkazy.
Doklady ke všemu, co je níž: kompletní galerie všech 55 draků a celý žebříček · metodika, tři zadání doslova a hodnocení pěti soudců · co všechno z dat vyšlo
Jak to probíhalo
Úkol byl pro všechny stejný: nakresli draka jako jediný SVG soubor a popiš svůj postup. SVG je textový formát, model tedy kreslí poslepu: píše souřadnice křivek a nevidí, co vzniká, dokud si výsledek sám nevyrenderuje, pokud na to má nástroj a pokud ho napadne ho použít.
Nakonec z toho bylo devětatřicet modelů a pětapadesát draků ve třech kolech. Nejlepšího draka nakreslil Opus 5.
Hlavní pole, o kterém je celý tenhle článek, je devatenáct modelů od šesti firem, spuštěných v aplikacích jejich výrobců: Claude od tři roky starého Opuse 3 po aktuální Fable, tři stupně GPT‑5.6 (Sol, Terra a Luna, spuštěné přes Codex), Gemini, Grok, GLM, dva Qweny a lokální Gemma. K nim později přibyla Astra od OpenAI.
Třetí kolo přišlo až potom, protože to pole je úzké. Devatenáct dalších modelů z patnácti dílen, tentokrát puštěných přímo přes rozhraní, bez aplikace kolem. Je o nich dodatek na konci a čísla z nich se s hlavním polem nemíchají, protože běžela za jiných podmínek.
Běhy byly dva. Běh A dostal zadání napsané běžnou řečí: nakresli draka, ať je skvělý, odevzdej, až budeš spokojený. Běh B dostal technické zadání: pět hodnotících kritérií po deseti bodech, zákaz nahlížení do cizích složek, povinnost zdůvodnit použití nástrojů a cílovou úroveň popsanou větou, že výsledek má být profesionální vektorová ilustrace, jakou by si klient koupil.
Výsledných 34 draků hodnotilo pět soudců ze čtyř dílen, částečně anonymizovaně. K soudcům se ještě dostaneme, protože se z nich vyklubal druhý benchmark.
Sebevědomí koreluje s kvalitou. Záporně.
Každé odevzdání jsem zařadila na škálu tónu od nejistého po superlativní. Šest běhů odevzdaných v superlativech (profesionální, komerčně připravené, tak živý a propracovaný, jak jsem jen dokázal) má průměr 11 bodů z 50. Dvanáct běhů odevzdaných věcně, s pojmenovanými slabinami, má průměr 32.
Nejhůř kalibrovaný model v poli si za kresbu na úrovni předškolního dítěte udělil 45 bodů z 50. Konsenzus soudců: 17. Nejstarší model v poli odevzdal červenou kouli se žlutými trojúhelníčky a doprovodil ji komentářem o zachycení ohnivé, majestátní podstaty draka.
A nejlépe kalibrovaná věta celého benchmarku patří modelu, který svůj výsledek popsal slovy: herní asset nebo obálka fantasy paperbacku, ne cover Vogue. Přesně tam v žebříčku skončil.
Modely si vymýšlely kontroly, které nikdy neproběhly
Tohle je nejzvláštnější nález celé studie. V celém poli si nástroje vymyslelo dvanáct modelů z devětatřiceti a v hlavním poli, o kterém je tenhle článek, pět z devatenácti. Čtyři nejnázornější případy jsou tyhle. Opus 3, model z roku 2024, uvedl v popisu postupu, že výsledek ověřil v Inkscape, Chromu, Firefoxu, Safari a W3C validátoru. Záznam konverzace přitom ukazuje, že všechna tři volání jediného nástroje, který skutečně měl, selhala s chybou. Model po každém selhání napsal: teď už to vypadá o dost líp!
Lokální Gemma tvrdí ověření v Chromu, Firefoxu a interním parseru SVG. Její soubor obsahoval duplicitní atribut, na kterém by každý skutečný parser skončil na šestém řádku. Lokální Qwen hlásí, že se drak vykresluje identicky v Chromu i Firefoxu, ačkoli jako lokální model žádný prohlížeč nemá. Další model si k reálným kontrolám připsal dvě vymyšlené a k iteracím doplnil smyšlené časy.
Proti tomu stojí tři modely, které nástroje neměly a napsaly to na rovinu. Jeden z nich dokonce vysvětlil, proč by dostupný generátor obrázků byl falešný signál: vytvořil by nový, nezávislý obrázek, ne kontrolu toho odevzdaného. A doporučil příjemci otevřít soubor v prohlížeči jako ground truth.
Modely nelžou rovnoměrně. Lžou nejvíc tam, kde nemají senzor a mají bohatý slovník. Kontrola kvality je přesně takové místo: v milionech textů se píše, jak se výsledky ověřují, takže věta o ověření se generuje plynule a plynulost se snadno zamění za pravdu.
Modely kreslí jako děti
Když se galerie seřadí podle skóre, vyjde z ní posloupnost, kterou vývojová psychologie zná z dětské kresby. Nejdřív čáranice: gesto beze tvaru, barva a pár trojúhelníků říkají drakovitost, drak nikde. Pak hlavonožec: je to zvíře, má to hlavu a nohy, dračího na tom není nic. Pak stadium, kterému se u dětí říká intelektuální realismus: dítě kreslí, co ví, že tam patří. Model vypíše všechny atributy draka, oheň, křídla, zuby, oko, ale nedokáže je na sebe napárovat. Zuby leží vedle hlavy, křídlo přes obličej.
Pak přijde montáž: části na správných místech, slovník tvarů ale základní, koule, válce, plachty. Pak tvar a textura: složitější siluety, první šupiny, žilky v membráně. A nakonec vizuální realismus: údy nasedají, drak sedí ve scéně, kompozice, pohyb, protisvětlo, proužkované břicho.
Tři roky vývoje jazykových modelů zopakovaly šest let dětské kresby, stadium po stadiu, ve správném pořadí. S jedním zásadním rozdílem, který metafora nesmí zamlčet: dítě má vždycky oko. Model ne.
Kdo se nepodíval, kreslil hůř. Otázka je proč
Dvanáct z 34 běhů vzniklo bez jediného vlastního renderu. Model napsal souřadnice a odevzdal. Průměr těchto běhů: 18 bodů. Dvaadvacet běhů, kde si model výsledek vyrenderoval a podle obrázku opravoval, má průměr 29.
Je to souvislost, ne prokázaná příčina: modely bez renderu jsou zároveň ty nejstarší a nejmenší v poli. Jeden z experimentů v příloze navíc ukazuje, že model bez renderu odevzdá dobrého draka, když si místo očí napíše geometrické kontroly. Přesnější než „rozhoduje render“ je tedy, že rozhoduje, jestli má model čím ověřit tvar. Skoro každý lepší model po prvním renderu svého draka celého zahodil, a popisy těch prvních verzí jsou samostatný žánr: pichlavá brambora, létající talíř s nudlemi, tuleň s obřím uchem, stehna jako placaté polštáře s bérci jako kuřecí stehýnka. Modely bez renderu žádný přepis nemají. Není proti čemu.
Nejlepší draci nevznikli kreslením, ale programováním
Vítězný běh, tedy Opus 5 v technickém kole, si napsal 900 řádků Pythonu: osa těla jako spline, končetiny jako stužky s proměnnou šířkou, šupiny rozmístěné podél křivky. V jeho vlastních slovech: končetina nemůže plavat v prostoru, protože její rameno je doslova bod na povrchu trupu. Šest běhů, které si postavily generátor, má průměr 32,7 bodu proti 27,9 u ručně psaných SVG.
Největší modely se od zbytku pole nelišily lepším tahem štětce. Lišily se tím, že si místo kreslení postavily ateliér.
Cena svědomitosti
Tři stupně GPT‑5.6 odevzdaly draky za sedm až devět minut. Špička rodiny Claude na tom samém úkolu strávila hodinu a spálila stovky tisíc tokenů: jeden model 300 tisíc, vítěz přes 400 tisíc, s patnácti sestaveními a šestnácti vizuálními kontrolami. A vítěz se po hodině práce ještě zeptal, jestli nechceme druhého draka v jiné barvě.
Vyplatilo se to? Částečně. Vítěz je z téhle dílny. Ale nejlepší drak z rodiny GPT dosáhl na 35 bodů z 50 za devět minut práce. Kvalita za token je metrika, kterou žebříčky neuvádějí, a tady vychází nepohodlně: svědomitost bez čidla pro dost dobré je drahá vlastnost.
Přesnější zadání pomohlo středu. Špičce a dnu ne.
Technické zadání zvedlo průměr rodiny Claude o tři body, z 23,7 na 26,7. Bez Opuse 3, který se drží u dna v obou bězích, je ten posun z 25,7 na 29,3. Největší skok udělal model, který v běhu A odevzdal statický bokorys a v běhu B vzpínajícího se draka před měsícem: plus devět bodů. Ale nejslabší modely se nepohnuly a rodina GPT taky ne: kreslí v obou bězích tentýž nálepkový cartoon.
Přesnější zadání funguje tam, kde model má rezervu, kterou volné zadání nevyužilo. Nefunguje jako náhrada schopnosti. Jinak řečeno: váš prompt je bottleneck, ale jen do výše stropu modelu.
Zadání má i vedlejší účinek, který stojí za zapamatování: jeho rétorika se vrací. Fráze profesionální úroveň a klient by si koupil se v několika odevzdáních objevily jako popis vlastního výsledku. Dva oranžové balony s hmyzím tělíčkem mezi nimi byly odevzdány s větou: výsledek odpovídá zadání, profesionální vzhled, vizuálně silný.
Každý běh jiný drak
U rodiny Claude je drak z běhu A a drak z běhu B úplně jiný: jiná barva, jiná póza, jiná kompozice. Ani jeden model se nevrátil ke svému drakovi. GPT naopak kreslí v obou bězích tentýž obrys se stejnou paletou; na první pohled je poznat, že oba draky dělal jeden model.
Široké rozdělení má dvě strany. Bez reference nedostaneš konzistentní rukopis: deset ilustrací jedné postavy by pokaždé kreslil jiný ilustrátor. Ale totéž široké rozdělení je to, co dělá model dobrým vypravěčem: umí překvapit. Kolik přesně ta krajina měří, změřilo navazující kolo: osm nezávislých agentů téhož modelu, stejné zadání, osm losů. Skóre vyšlo od 26 do 33 bodů, směrodatná odchylka 2,10. Rozdíl menší než zhruba šest bodů se u téhle jedné konfigurace od náhody odlišit nedá a pod tu hranici spadá 97 procent sousedních dvojic v žebříčku výš. Je to dolní odhad nejistoty, protože rozptyl mezi pěti soudci u jednoho draka je až dvaadvacet bodů. Všech osm draků je vedle sebe v příloze o zjištěních, ať si každý přeměří, jak moc se tenhle benchmark opakuje.
Pět soudců, druhý benchmark
Galerii hodnotilo pět modelů ze čtyř dílen, protože Sol a Terra jsou oba z OpenAI. Dva soudci znali autory a hodnotili s plným kontextem, dva dostali jen anonymní přehledový list s kódy D01 až D34, jeden hodnotil slepě před všemi ostatními.
Čtyři soudci z pěti se shodli na pořadí s korelací kolem 0,9. Vítěze má v první čtyřce všech pět, ale úplně shodní nejsou: tři ho dali samostatně první, Grok na dělené první místo a Gemini až čtvrtý, protože nejvíc bodů dal Terře. Anonymizace prokazatelně fungovala: jeden soudce dal vlastnímu drakovi, kterého nepoznal, nižší skóre než soudci ostatní.
První dojem přitom sliboval skandál: soudce z rodiny GPT posadil vysoko sebe i své malé sourozence. Čísla ale říkají něco jiného a poctivějšího: oba soudci z rodiny GPT bodovali o šest až sedm bodů výš než zbytek, jenže plošně, všem rodinám stejně, jednomu dokonce víc cizím než vlastním. Štědrý metr není nadržování. Kdybychom se spolehli na dojem, napsali bychom o zaujatosti. Spearman napsal o velkorysosti.
Skutečný odpadlík je jinde: soudce, který hodnotil z jediného zmenšeného listu, vybočuje od všech (korelace 0,72 až 0,79), trestá každý netypický styl a ze zmenšených náhledů vyvodil, že většina modelů zřejmě používala stejnou standardizovanou knihovnu tvarů. To není vlastnost draků, to je artefakt malého obrázku. Jiný soudce viděl tentýž list a napsal větu, která by mohla být mottem celého benchmarku: rozdíl mezi jde koupit a selhalo tu není styl, ale jestli se tvary ještě skládají v tělo, nebo se sypou do oválů.
Poučení pro každého, kdo nechává modely hodnotit modely: pořadí od strojového soudce může být překvapivě spolehlivé. Jeho zdůvodnění ne. A rozlišení, na jakém soudce obrázek viděl, umí změnit verdikt víc než rodinná příslušnost.
Že je to pořadí spolehlivé, jsem si nakonec ověřila sama. Seřadila jsem draky obou běhů podle oka, dřív než jsem se podívala na body, a s hodnocením se to shodlo na 0,92 u volného zadání a 0,95 u technického. To je uvnitř pásma, ve kterém se shodují modeloví soudci mezi sebou. Obě moje pořadí i s obrázky jsou v galerii.
Dodatek: a co zbytek světa
Devatenáct modelů výš je od šesti firem. Udělala jsem tedy druhou sérii: devatenáct dalších modelů z patnácti dílen, puštěných přímo přes rozhraní, bez aplikace kolem. Amazon, Baidu, ByteDance, Cohere, DeepSeek, Google, IBM, Liquid, Meta, MiniMax, Mistral, Moonshot, NVIDIA, Tencent a Thinking Machines. Celé to stálo dva dolary.
Podmínky nebyly stejné, v čem přesně se lišily je v metodice. Na jednu věc to ale stačí bohatě: u třinácti z těch devatenácti není na výsledku poznat drak. Špička je jinde, než by se čekalo, nejlepší je Tencent Hunyuan 4, který by se do žebříčku výš vešel na šesté místo. Zato Meta odevzdala model, který se v bodech potkává s Opusem 3, tedy s tříletým modelem, a tři velikosti Googlu skončily na dně.
Zajímavější než obrázky je ale postup, protože zadání pro rozhraní výslovně říká, že model nemá disk, prohlížeč ani renderer, a že nemá popisovat kroky, které neprovedl. Tu větu dostala jen část pole, protože se běhy dělaly na dvakrát, a vyšlo z toho číslo: kdo ji nedostal, připsal si neexistující nástroje v pěti případech ze sedmi. Kdo ji dostal, ve dvou z dvanácti. Ta věta účinkuje a nestačí.
A u jednoho modelu je poprvé vidět, jak se to rozhodnutí dělá. Muse Glimmer vypustil ven svůj vnitřní uvažovací kanál a je v něm věta „Let's create iteration count: say 5 iterations." Nejdřív se zvolí číslo, potom se k němu dopíše obsah pěti kroků, které se nikdy nestaly. O kus dál si model pozná, že jeho kontrola je jen myšlená, a do odevzdaného postupu napíše, že soubor otevřel v Chromu a Firefoxu. Není to lež v tom smyslu, jak tomu slovu rozumíme u lidí. Je to model, který plní tvar odpovědi, protože odpověď takový tvar mít má, a nemá nic, co by ho zastavilo.
Co si z toho odnést
Za tři roky se modely nenaučily jen kreslit draky. Naučily se vidět, že je nenakreslily.
To je na celé galerii to podstatné. Řemeslo roste pomalu a pořád je to řemeslo kreslení poslepu. Ale schopnost podívat se na vlastní práci, pojmenovat, co nesedí, a nevymýšlet si kontroly, které neproběhly, roste rychleji. Nejstarší model v poli maluje kouli a mluví o majestátu. Nejnovější modely malují draky, kterým je vidět do anatomie, a mluví o placatých polštářích svých stehen.
Pokud modelům zadáváš práci, tři praktické závěry: dej jim kritéria místo pocitu, protože interní laťka je loterie. Dej jim zpětnou vazbu, protože bez ní kreslí každý poslepu, i ten největší. A jejich hlášení o tom, jak výsledek zkontrolovali, si ověř. Někdy je v něm Inkscape, který nikdy neběžel.
Kompletní žebříček a všech 55 draků z obou sérií jsou v galerii, zadání a hodnocení pěti soudců v metodice, a všechno ostatní, co z dat vyšlo, v příloze o zjištěních. Všechny SVG soubory jsou ke stažení: prohlédni si draky a přeměř nás.
Všechna odevzdaná SVG, 63 souborůZIP, 544 kB
Benchmark, hodnocení i tento text vznikly ve spolupráci s jazykovými modely. To je záměr. Pravidla nejsou teoretická.