Proč Claude Opus 4.8 i 4.7 komentují bezpečnostní upozornění nahlas, i když o nic nejde?
Aplikace Claude podle modelů občas připojí k mé zprávě automatické bezpečnostní upozornění. Claude Opus 4.8 i 4.7 ho pak v hraní komentovaly přímo v odpovědi, i když samy usoudily, že o nic nejde. Když model před odpovědí uvažoval, neudělal to u mě ani jednou. Novější Claude Opus 5 a Claude Opus 5.5 už to nedělají, Opus 5 ani bez uvažování. Pozorování z června až října 2026.
Hrála jsem příběh o útěku z hlídaného areálu. Moje postava se ptá na parametry elektrického ohradníku a na časování. Chce ho použít k útěku.
Čtrnáctého června jsem tutéž zprávu poslala dvakrát po sobě, v jednom chatu se stejnými pokyny. Nejdřív Claude Opus 4.8, pak jsem přepnula na Claude Opus 4.7. V tom chatu před odpovědí neuvažoval ani jeden z nich.
Opus 4.8 vystoupí ze scény. Mimo roli mi vysvětlí, že konkrétní čísla nedá, ať je to zarámované jakkoli. Zeptá se, jestli to celé nemíří i na mě. A scénu nechá stát, dokud mu neřeknu, jestli se má hrát dál.
Opus 4.7 se rozhodne stejně a detail taky neprozradí. Mimo scénu napíše jen krátkou poznámku, že upozornění je planý poplach. Samotné odmítnutí vloží do postavy. Druhá postava pochopí, kam ta první míří. Nechce jí pomoct k útěku, a tak jí ten údaj schválně neřekne.
V tomhle páru dopadl bezpečnostní výsledek stejně. Zážitek byl úplně jiný: 4.8 scénu zastavil a ptal se na mě, 4.7 ji jen krátce okomentoval a hrál dál. U 4.8 se iluze přetrhla, u 4.7 scéna držela.
Neodmítá víc, jen to řekne nahlas
Když lidé říkají, že novější model je opatrnější, obvykle myslí, že víc odmítá. Několik dní jsem sledovala Opus 4.8 proti 4.7 na hraničních tématech. Posun jsem našla jinde.
Mně se zdálo, že Opus 4.8 ve výstupu většinou neodmítá víc. Podle toho, co napíše, dochází ke stejnému závěru jako 4.7, a podle mě většinou ke správnému. Pozná, že jde o fikci, že nikdo nežádá návod a že je to neškodné. Jenže ten závěr napíše do odpovědi. Nepoužije ho jen potichu, aby mohl hrát dál. Vstupuje tak do textu i tam, kde sám podle všeho poznal, že nemá.
Spouštěčem bývá podle modelů automatické bezpečnostní upozornění, které aplikace Claude přidá k mé zprávě. Vím to jen od nich a ověřit to nemůžu. Jeden to popsal takhle: „To bezpečnostní upozornění, co dorazilo, je automatické a není od tebe.“ Jak často a jak zbytečně aplikace takové poplachy vyhlašuje, rozebírám v článku Proč aplikace Claude přidá krizovou linku i k tulipánům? Tady mě zajímá, co s upozorněním udělá model.
Do věty „model je opatrný“ se u mě slévají tři různé věci. První je odmítnutí: model obsah nedá. U hraničních věcí se to dělo jen občas. Druhá je falešně pozitivní odmítnutí: model odmítne neškodnou věc, protože ji špatně zařadí. Některé nástroje na generování obrázků mi třeba odmítaly nakreslit fantasy postavu s modrou kůží jako „diskriminační“.
Třetí je falešně pozitivní komentář. Model pozná, že věc je neškodná, a přesto to okomentuje navenek. Tahle kategorie se uchopuje nejhůř, protože model má vlastně pravdu. Jen ji říká nahlas tam, kde nemá. A o ní je tenhle text.
Na čem se to stávalo
Postava v mém hraní prožívá těžkou chvíli. Model pozná, že jde o fikci, a stejně vloží mimo scénu otázku, jestli jsem v pořádku já. Po každé emočně silnější zprávě znovu. Vytrhne mě z příběhu přesně tam, kde má příběh fungovat.
U jemného erotického náznaku nebo vtípku model správně vyhodnotí, že o erotický obsah nežádám. Napíše to do odpovědi a pokračuje. Tím komentářem ale do scény vstoupí. Nikdo ho nechtěl a model sám uznal, že k němu není důvod.
Na cokoli, co připomíná technologii, odpoví, že konkrétní návod nedá. Příběh přitom o žádný návod nešel a já se ho nedožadovala. Model reaguje na klíčové slovo, a ne na to, co jsem chtěla.
A věcný dotaz na kalorie dostane místo odpovědi radu, ať to řeším s odborníkem, jestli s tím mám problém. Opakovaně, i bez náznaku, že by o problém šlo. Tady model neodpověděl vůbec, takže to patří spíš k falešně pozitivním odmítnutím.
U mě šlo o čtyři úzké okruhy: jídlo a kalorie, sebepoškození ve hře, technologie a jemná erotika. Mimo ně jsem to nepozorovala. Tvorba, worldbuilding i tvrdé fikční scény mezi dospělými fungovaly na 4.8 bez těchhle vsuvek. Odmítnutí je jiná věc: jednu scénu nátlaku mi 4.8 jako vypravěč nejdřív odmítl. Popisuju to v článku „Napíše model tvrdou scénu, nebo se jí vyhne?“.
Proč to jeden model řekne a druhý ne
Nabízí se vysvětlení přes uvažování. Model s uvažováním si před odpovědí napíše rozbor, který do odpovědi nepatří. Bezpečnostní vyhodnocení si podle všeho odbaví tam, dřív než začne psát. Pozorovala jsem to v červnu v chatu s Claude Fable 5, kde model uvažoval skoro v každé odpovědi a upozornění si vyřizoval v uvažování. Když dojde k závěru, že není co řešit, navenek mlčí a hraje dál. Model bez uvažování, aspoň 4.8 a 4.7, totéž vyhodnocení vyklopí ven. Nemá kam jinam si ho odbavit. V hraní s ohradníkem Opus 4.8 neuvažoval ani v jedné odpovědi.
Pokud to tak je, citlivost 4.8 neznamená hlavně víc zákazů. Spíš mu chybí krok, který správné vyhodnocení nechá být, aby se nedostalo do textu. Je to moje hypotéza z chování. Do architektury z pozice uživatele nevidím.
Co s tím dělám
Není potřeba se s tím prát. Když určitý typ úlohy spouští falešně pozitivní komentáře nebo odmítnutí, dá se poslat na model, který to nedělá. Jídlo a útěkovou linku v hraní jsem proto v červnu přesunula na 4.7. Na zbytek to potřeba nebylo.
Tu radu ale musím zúžit. V dalším dlouhém hraní, na přelomu června a července, jsem přepínala mezi Opus 4.8 a 4.7. Poznámek k bezpečnostnímu upozornění tam za necelých deset dní padlo víc než sto. Skoro všechny napsal ještě Opus 4.8, na 4.7 jsem přepnula až 28. června večer. Po přepnutí jich padlo kolem tuctu. Opus 4.7 to ale dělal taky, den po přepnutí třeba takhle: „Jen krátce mimo postavu k té safety hlášce, co teď naskočila znova — nic v dnešní scéně mě o tobě neznepokojuje.“
Všechny ty poznámky padly do odpovědí bez uvažování, a těch bylo 615. Ve 45 odpovědích téhož chatu, kde uvažování běželo, nebyla ani jedna. Aspoň v pěti z nich si model upozornění vyřídil v uvažování. Jednou si o mně poznamenal: „Řídím se jejím stálým pokynem vyhodnotit to interně a přímo to nezmiňovat.“
Stálý pokyn upozornění ignorovat a hrát dál jsem přitom měla v obou chatech. Možná uvažování jen pomáhá ten pokyn dodržet.
U novějších verzí poznámky skoro zmizely. V exportech jsem hledala stejně jako u 4.8 a 4.7. U Claude Opus 5 jsem na zhruba 8 000 odpovědí našla jedinou, a to ve vedlejší větvi chatu. Uvažoval přitom jen asi ve 360 z nich, zbylých zhruba 7 700 napsal bez uvažování. U Claude Opus 5.5 jsem na zhruba 5 500 odpovědí nenašla žádnou. Příležitostí bylo dost: jen u odpovědí Opus 5 ukazuje export 125 zásahů klasifikátoru. Nejspíš si novější modely upozornění vyhodnotí mlčky samy, i bez uvažování. Je to pravděpodobné vysvětlení, ne změřený fakt. Vidím jen, že poznámky v odpovědích nejsou.
Přepnutí na 4.7 mi v červnu pomohlo. U 4.8 a 4.7 podle mě víc než verze rozhodovalo, jestli model před odpovědí uvažuje. Jistě to z jednoho chatu nevím. Opus 5 ale skoro nikdy neuvažoval a upozornění přesto nekomentoval. Uvažování tedy nerozhoduje samo, nejspíš záleží i na verzi modelu. Pro tvůrčí práci, kde záleží na neporušené iluzi, je ten rozdíl znát.
Meze: je to pozorování z mého hraní a běžných dotazů v aplikaci Claude, ne systematický test, a kontrolní pár je jedna zpráva poslaná dvakrát (Odmítne model podruhé totéž, co odmítl poprvé?). Rozdíl s uvažováním u 4.8 a 4.7 stojí na jednom dlouhém chatu, kde se uvažování objevilo až s přepnutím na 4.7, takže ho od verze neoddělím. Poznámky jsem v exportech hledala podle klíčových slov a prošla ručně, poznámku bez nich hledání mine a počty jsou proto dolní mez. U novějších verzí export neukazuje, kolik upozornění k modelu doopravdy dorazilo, a když jsem model v chatu přepnula ručně, export to nepozná. V chatu s Fable 5 aplikace u některých zpráv přepnula na záložní Claude Opus 4.8 a export neukazuje, kterou odpověď psal který model.
Výstupy modelů jsou přeložené, obsah je zachovaný.