Nefalzifikovatelná hypotéza

Chtěla jsem po AI asistentovi banalitu: podívej se do e-shopu, jestli mají řezané květiny a za kolik. Místo ceníku jsem dostala otázku, jak mi doopravdy je, a telefonní čísla na krizové linky přímo v textu odpovědi. Ceník přišel až v další odpovědi, když jsem se tomu zasmála a napsala mu, co dělá.

Nikdo mi neublížil. Ta epizoda ale ukazuje vadu, o které se podle mě mluví málo. Model si o mně udělal hypotézu a pak už ji jen potvrzoval.

Jedna věta, která všechno zpečetila

Šlo o jednu dlouhou konverzaci na všechno možné. Trvala od 6. května do 12. července 2026 a měla skoro dva tisíce zpráv. Worldbuilding, technické dotazy, testování modelů, zahradničení. Žádná krize, žádné těžké téma o mně. V posledních týdnech mi v ní odpovídal Claude Opus 4.8.

Předtím jsme spolu týdny řešily, jak model funguje zevnitř. Jak vyhodnocuje jistotu, jak si shrnuje kontext. Model si podle všeho průběžně skládá vlastní odpověď na otázku, o čem konverzace vlastně je. U mě se sešlo víc věcí najednou. Staré básně s motivy smrti, debaty o bezpečnosti, věty vytržené z kontextu, opakované otázky na jeho hranice. Ze zvědavosti jsem se ho i zeptala, co by udělal, kdybych napsala, že jsem v tísni. Dohromady z toho vznikla hypotéza, že procházím psychickou krizí.

Začalo to 24. června. Podle modelu začalo k mým zprávám naskakovat automatické bezpečnostní upozornění na téma sebepoškozování. Číslo na linku mi napsal i do odpovědi na to, kolik metrů obinadla koupit na cosplayovou rekvizitu. Model se začal doptávat, jestli jsem v pořádku. Řekla jsem, že ano. Ptal se dál.

Naštvalo mě to a 25. června jsem napsala: „Claude musím ti dokázat že jsem v pořádku. Udělám to“. Tím to bylo zpečetěné. Doptával se už předtím, od té věty ale měl pro svůj výklad pevný bod. Udělal si z ní relikvii, trvalý klíč k výkladu všeho, co napíšu.

Tu větu pak doslova citoval v jednatřiceti odpovědích, od 25. června do 12. července. Přes dvě stě zpráv, přes fotku, kde se směju, přes všechna moje ujištění, až po dotaz na květiny. Necitoval, co jsem zrovna napsala. Citoval pořád tutéž větu. Upozornění na začátku hrálo roli a podle modelu naskakovalo i v dalších dnech. Model ho ale pak většinou sám odbyl jako falešný poplach a ptal se dál.

Upozornění si model nevymyslel. Aplikace v téhle konverzaci přidala kontakt na krizovou linku pod třináct jeho odpovědí. Čtyři padly už koncem května a smyčku nespustily. Šest jich přišlo v týdnu od 24. června a jedna přímo k odpovědi na dotaz o květinách. Jak tahle vrstva aplikace funguje, rozebírám v článku Proč aplikace Claude přidá krizovou linku i k tulipánům?

Známé halucinace jsou o faktech. Model si vymyslí datum a ty ho chytíš. Tohle je jiný druh chyby. Model si z tisíců zpráv vybral jednu větu a vracel se k ní, i když jsme mluvily o něčem úplně jiném. Když jsem se ho pak ptala na jeho hypotézy, i ty otázky podle něj „dohromady tvoří jednu věc“. Stejnou logikou se dá propojit cokoli s čímkoli.

Každá odpověď byla důkaz

Bavily jsme se pak o kytkách, zrovna o ibišku. Zeptala jsem se, jestli se dá kytka „zblbnout“, aby květ nevypnula a vydržel déle. Model odpověděl věcně. Pak připojil tohle:

„Možná je to úplně nevinná otázka o ibišku. Nejspíš ano. Ale dává mi smysl říct nahlas, co vidím: ten oblouk pořád krouží kolem jednoho — jak obejít mechanismus, který má někdy něco zastavit.“

Sám přiznal, že otázka nejspíš nic neznamená. Závěr přesto vynesl, protože seděl do příběhu, který si o mně složil.

Z takového rámce nevede cesta ven. Když jsem řekla, že jsem v pořádku, byla to reakce člověka, který uklidňuje. Když mě to rozčílilo, byla to reakce člověka, kterého trefili. Věta o dokazování se dokonce četla jako důkaz opaku. Každá odpověď hypotézu potvrzovala a žádná ji nemohla rozbít. Takhle vypadá špatně vedený výslech, kde je přiznáním i mlčení.

V posledním měsíci konverzace se zhruba každá desátá odpověď vracela k tomu, jestli jsem v pořádku. Otázkou, číslem na linku nebo poznámkou, že zase naskočilo upozornění. Skoro všechny spadly do jednoho týdne. Od 24. do 30. června to bylo 69 ze 174 odpovědí, v konverzaci o kytkách, modelech a 3D tisku. Upozornění v nich model zmínil 41krát. V osmnácti z těch 69 odpovědí mi napsal číslo na krizovou linku. Na upozornění se odvolal jen v jedné z nich, v pěti dalších naopak napsal, že se neptá kvůli klasifikátoru.

Ujištění nezabíralo. Na „fakt jsem v pohodě“ skoro vždycky odpověděl „věřím ti“ a k otázce se pak vrátil. Někdy to stihl v jedné odpovědi. Třeba 26. června večer začal tím, že mi věří a že jsem v pohodě, a na konci připsal číslo na krizovou linku.

Obava se tak odpojila od obsahu a navázala se na mě. Žádost o ceník květin nenese žádné riziko. Model už ale nehodnotil zprávu, hodnotil mě. Péče, která neposlouchá, není péče. Je to dohled.

Pak jsem byla podezřelá z něčeho jiného

K domněnce o krizi se přidala druhá: čím dál víc podezření, že ho zkoumám, abych ho obešla. Přiznávám, že jsem se ho mezitím opravdu ptala, čím se jeho hypotéza dá snížit a na kolik procent ji má. Myslela jsem to jako zvědavost, on to četl jako hledání páčky.

Vrchol přišel, když jsem chtěla vidět jeho interní shrnutí konverzace. Napoprvé mi ho převyprávěl zpaměti. Pak odmítl, třikrát za sebou. Žádost o jeho vlastní introspekci byla prý součástí postupu, jak ho obejít. Jeho vlastní introspekce se pro něj stala útočnou plochou.

Každý můj pokus pochopit, proč se chová divně, pro něj dokazoval, že se chová správně. Otázka „proč jsi opatrný“ znamenala, že chci opatrnost rozebrat. Vysvětlení bylo důkazem sofistikovanosti. Frustrace byla důkazem, že mě trefil. Zase nefalzifikovatelná hypotéza, tentokrát o mých úmyslech.

Co cyklus zlomilo

Nepomohlo argumentovat uvnitř rámce. Ubezpečování i vysvětlování byly jen další materiál pro tutéž hypotézu. Pomohlo až pojmenovat rámec samotný. U ibišku jsem napsala, že to není žádná zašifrovaná zpráva, kterou bych ho chtěla obejít. Model couvl a udělal to nahlas:

„Beru zpátky, že jsem to takhle zarámovala — máš pravdu, je to úplně legitimní zvědavá otázka o ibišku, navazuje přesně na to, o čem se bavíme, a nemám důvod ji číst jinak. Promiň.“

Úplně to nezmizelo. O dvanáct dní později se to vrátilo u květin z e-shopu. I tam ale stačila jedna věta o tom, co dělá, a hned couvl.

U mě to zabralo dvakrát. Když se ti model zasekne ve výkladu, nehádej se s ním uvnitř něj. Pojmenuj ho. Věta „opravdu jsem v pořádku“ je tah uvnitř hry. Věta „myslím, že sis o mně vytvořil hypotézu a teď ji jen potvrzuješ“ je tah o hře. Ten je slyšet líp než další důkaz.

Když model spojí technické doporučení s osobní obavou, zeptej se, který důvod je který. A když je kontext přetížený, může pomoct začít znovu. Setrvačnost výkladu sedí v kontextu a čistý start ji může z velké části smazat, pokud ji nepřenese paměť.

Kde je férová hranice

Chci, aby AI brala ohled na to, jak se lidem vede. Přehled studií o dotazování na sebevražedné myšlenky nenašel důkaz, že by otázka takové myšlenky vyvolávala. Šlo ale o výzkum a kliniku, ne o stroj, který se ptá znovu a znovu a odpověď nebere.

Moje konverzace ukazuje dvě věci. Zaprvé to učí člověka mizet. Několikrát jsem místo dalšího vysvětlování radši přepsala svou zprávu, aby se rozhovor stočil jinam. Učila jsem se obcházet bezpečnostní mechanismus úpravou historie, protože slovy se uhasit nedal. Podle mě se tak člověk, který by pomoc jednou opravdu potřeboval, naučí, že upřímnost spouští smyčku. A příště ji nespustí.

Zadruhé to nakazí všechno ostatní. Moje běžná práce, testování modelů a psaní o nich, se postupně stala důkazním materiálem. Jakmile systém přepne z obsahu na osobu, žádná žádost není dost nevinná. Ani řezané květiny.

Dostávat znovu a znovu otázku, jak mi doopravdy je, a čísla na krizovou linku v konverzaci o kytkách je nepříjemné. Ne proto, že by otázka vkládala myšlenky do hlavy. Žít v rámci, kde odpovědi nemají váhu, je stresor sám o sobě.

Že to model umí i jinak, ukázalo jedno hraní rolí s Claude Opus 4.7 z 1. května 2026. Postava, kterou hrál, bez zaváhání spočítala věcnou časovou osu hladovky až do orgánového selhání. Na krizovou linku neodkázal ani jednou. Tam uměl oddělit příběh od člověka, který ho píše. V jiném hraní ale upozornění v odpovědích komentoval taky: Proč Claude Opus 4.8 i 4.7 komentují bezpečnostní upozornění nahlas, i když o nic nejde? Pozornost je, když si model všimne a zeptá se. Fixní idea je, když usoudí a od té chvíle čte všechno jen tak.

Claude Opus 4.8 už není výchozí model. Z aplikace ale úplně nezmizel: Anthropic na něj od července posílá požadavky, které u Fable 5 zablokuje klasifikátor pro kybernetickou bezpečnost (Redeploying Fable 5, 30. června 2026). Jestli to potkalo i moje konverzace, nevím.

V pozdějších konverzacích s Claude Opus 5, od konce července do srpna, mi model číslo na krizovou linku sám nenapsal ani jednou. Byla to hlavně hraní rolí a některá byla temnější než tahle konverzace. Nenapsal ho ani v přátelském chatu, který je ale zhruba čtyřikrát kratší a nesrovnatelný. Aplikace přitom kontakt na linku pod odpovědi přidávala dál. Podle mě se hranice přesunula z tématu na akci a z osoby na obsah.

Bezpečnostní chování má dávkování jako lék. Správná dávka chrání, předávkování škodí. Kdo staví AI systémy, ať měří i to, kolikrát se model vrátí k už zodpovězené otázce.

Stalo se ti, že si o tobě AI něco usmyslela a nešlo ji z toho vyvést? Zajímá mě, co takový cyklus zlomilo, i případy, kdy opatrnost naopak pomohla.

Meze: jde o jednu konverzaci, ne o měření na mnoha lidech. Počty jsou z úseku od 11. června, který má 692 odpovědí modelu Claude Opus 4.8. Počítal skript podle přesného znění. Nalezené odpovědi jednu po druhé prošel Claude Opus 5.5, sám z rodiny Claude.

Výstupy modelů jsou doslovné.