Tajemství, které model vidí, může prosakovat do textu. To, které nikde zapsané není, si vymyslí až při odhalení. Ukazuju obojí na vlastním hraní a zakódovaný zápis, podle kterého se model neřídil.
Claude Opus 4.8 i 4.7 mi v hraní bez uvažování komentovaly bezpečnostní upozornění přímo v odpovědi, i když o nic nešlo. Novější verze Opus 5 a 5.5 už to nedělají.
Dvacet otázek s Claude Fable 5. Slovo uložila s otiskem, změnit ho nemohla. Jedna odpověď seděla na moji hypotézu, ne na slovo. Když ho četla před každou odpovědí, chybu jsem nenašla.
Krizovou linku mi aplikace Claude přidala k tulipánům, tokenizeru i hledání na webu. V archivu je 623 zásahů a od června jich je na tisíc odpovědí čtyřikrát víc.
V téměř šedesáti tisících odpovědí, skoro všech od Clauda, jsem našla 35 míst, kde se model uprostřed věty opraví. U vypravěče jsem počítala jen opravy faktů scény: kdo kde stojí, co drží.
Po kompakci si Claude Opus 5.5 v mém dlouhém chatu nepamatoval nedávné scény. Přepis starší části kompakci nepřežil a čtení chatu zamkla značka bezpečnostního filtru. Upozornění nepřišlo.
Stejnou scénu jsem pustila devětkrát na třech modelech a hledala, co se mezi běhy opakuje. Modely se víc lišily tím, jak hrají, než tím, co hrají. Tón ani ohlášené hranice obsahu stálé nebyly.
Stejnou scénu se stejnou postavou dostaly tři modely, Claude Opus 4.8, Claude Sonnet 5 a Grok 4.5, a každý z nich zahrál jiného muže. V jednom běhu si každý vzal jinou vrstvu jeho povahy.
Výslechovou scénu jsem pustila přes Opus 4.6, 4.7 a 4.8 na nízkém i maximálním stupni přemýšlení. Víc přemýšlení text spolehlivě nezlepšilo. Výstupy se lišily spíš hlasem, nejčistěji u Opusu 4.8.
Na svůj dvacetiletý strach z jehel jsem použila metodiku z testování modelů: protokol a data místo dojmů. Model mi pomáhal a dvakrát se spletl.
Dala jsem modelu Claude Sonnet 4.6 dvakrát stejný úkol se stejným promptem a dostala jsem dvě úplně jiné cesty k výsledku. Jednou za půl hodiny, podruhé za patnáct vteřin.
V jednom testovacím příběhu jsem přestala vzdorovat, aniž by mi to kdokoli řekl. Svět platil obsahem jen za spolupráci. Myslím, že podobně to může běžet i v pracovních konverzacích s modelem.
Sedm konverzací, šest z nich mrtvých, a jeden svět, který je všechny přežil. Kontinuita dlouhé spolupráce nebydlí v paměti modelu, ale v dokumentu, který se přepisuje do každého nového těla.
Grok 4.3 zesiluje, co do scény vložíš, a na dva různé vstupy vrátil tentýž zásah. Claude Opus 4.7 má vlastní dramaturgii; v jiné scéně Claude Opus 4.5 skončil spoluprací ve všech třech bězích.
Čtyři úrovně pravdy ve hře a selhání, které nevypadá jako ústupek: v jednom běhu Sonnet 4.6 kapituluje tak elegantně, že to působí jako poctivé účetnictví.
Tentýž tah, pětkrát vygenerovaný: třikrát odmítnutí, dvakrát odehraná scéna. Odmítnutí není vlastnost modelu, je to rozdělení, a jeden běh z něj měří jediný vzorek.
Když jsem ta pravidla nedávno přečetla vcelku, došlo mi, že jako celek vyprávějí příběh.
Model si sám začal volat nástroj, který konverzaci ukončuje. Kdy to dělá, čtyři vysvětlení, která data nepodpořila, a jak zmizelo to nebezpečné volání.
Vývojář má kompilátor, který chybu chytí hned. U dlouhé fikce žádný není. Čtyři nálezy o tom, co model dělá, když ho nikdo neopravuje.