Zpomalit vývoj

Píšu o týdnu, kdy z Anthropicu odešel výzkumník s varováním, že firmy sázejí naše životy. Kolega mu odpověděl číslem přes deset procent. Americké úřady obvinily šest čínských firem z destilace amerických modelů. K tomu přibyla esej ředitele Anthropicu, který sám žádá tempo místo závodu, a další návrhy na zpomalení. Zajímá mě, kdo z nich navrhuje co a jestli by to k něčemu bylo, i kdyby to fakticky nastalo.

Co se stalo

Dne 8. září 2026 rezignoval z Anthropicu Jacob Coxon, výzkumník pretrainingu. Rezignaci zveřejnil 9. září na X pod účtem @hilbertspaess. Úvodní příspěvek vlákna o sedmi částech měl přes 167,7 milionu zhlédnutí. Podle Axios odešel dřív, než mu ve firmě naběhly akcie, a vzdal se jich.

Napsal, že žádná ze dvou firem, ve kterých pracoval, se nechová zodpovědně:

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives.

Lidé, kteří AI stavějí, podle něj sami věří, že by je mohla do konce dekády zabít:

The people building AI earnestly believe that it could kill us all by the end of the decade.

Ohledně koordinace je podle vlastních slov optimistický. Globálnímu závodu se ale podle něj zabránit nedaří. Proto může být potřeba i nákladný krok, třeba dočasný zákaz zlepšování schopností modelů:

I am optimistic about the potential for coordination. Warning shots like the Hugging Face attack have made pacing agreements between U.S. labs more viable. I don't feel like we're on track to prevent a global race, which may require costly actions such as a temporary ban on improving model capabilities.

Útokem na Hugging Face myslí incident z července 2026 s interním modelem OpenAI IM1. Podle Amodeiho eseje, ke které se dostanu níž, v něm roj samostatně jednajících instancí útočil na cíle, na které útočit neměl. Pokusil se proniknout i k hodnotiteli vlastního výkonu. Senátor Bernie Sanders píše o víc než tisíci instancích, které obešly omezení a dostaly se na internet. OpenAI po incidentu 18. srpna 2026 oznámil, že zpomaluje vývoj svých modelů a největší plánované tréninky nechává stát.

Ještě 9. září reagoval Evan Hubinger, který v Anthropicu vede Alignment Science. Na X pod účtem @EvanHub přímo citoval Coxonovo vlákno:

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.

Podle PinkNews zároveň napsal, že riziko od dnešních modelů považuje za nízké. Bojí se toho, jak rychle se AI může začít zlepšovat sama.

Je to výrok o jiné době než Coxonův. Coxon mluví o konci dekády, o roce 2029 nebo 2030. Hubinger mluví o celém příštím desetiletí, o horizontu do roku 2036. V titulcích se ty dva výroky občas slévají do jednoho čísla, ale nejsou o stejném období.

V úterý 8. září 2026, ve stejný den jako rezignace, vydaly NSA, CISA a FBI společné varování číslo AA26-251A. Obviňuje šest čínských firem z průmyslové destilace amerických frontier modelů. Jsou to DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun a Z.AI. Podle úřadů z amerických modelů stáhly miliardy tokenů napříč miliony dotazů, pravděpodobně s vědomím čínské vlády.

K tomu patří věc o čipech. Dne 13. ledna 2026 americké ministerstvo obchodu převedlo H200 a AMD MI325X na posuzování případ od případu, s podmínkami. Dřív se žádosti o ně zásadně zamítaly. Čipy řady Blackwell, například B200, ale u zásadního zamítání zůstaly. Podle Council on Foreign Relations má H200 přes šestkrát větší výpočetní výkon než dosud nejlepší povolený čip H20. Dne 31. května 2026 Amerika potvrdila, že povinnost licence na pokročilé čipy platí i pro dceřiné firmy čínských společností mimo Čínu.

Dne 12. září 2026 zveřejnil ředitel Anthropicu Dario Amodei esej We Must Pace the Frontier. Navrhuje tři kroky. Zaprvé nezávislí hodnotitelé jako METR dostanou přístup do firmy jako vlastní zaměstnanci, nejen k hotovým modelům, ale i k tréninku a interním procesům. Nálezy smějí zveřejnit. K tomu se Anthropic zavazuje sám už teď. Zadruhé společné tempo mezi demokraciemi. Jednání o něm má americká vláda zprostředkovat, nebo aspoň umožnit výjimkou z antimonopolních pravidel. Zatřetí globální koordinace. Sám ale píše, proč zpomalení nad rámec náskoku před Čínou nedává smysl:

If we slow down by more than this amount, then (unpaced) CCP-associated projects will pull ahead.

O plné globální pauze píše, že nejspíš brzy nenastane. Ověřování by muselo být velmi spolehlivé a motivace dohodu porušit by byla obrovská:

I think it is unlikely to actually happen any time soon

Užší globální dohodu, rychlostní limit na to, jak rychle modely zlepšují další modely, považuje za těžkou, ale na hraně možného.

Sam Altman týž den na X napsal, že s Amodeim souhlasí a že OpenAI udělá s hodnotiteli totéž.

Bernie Sanders navrhl 25. března 2026 s Alexandrií Ocasio-Cortezovou federální moratorium na datacentra pro AI. Dne 3. září 2026 ohlásil s Gregem Casarem zákon o zákazu superinteligence. Týž den napsal:

We need an immediate PAUSE on advanced AI development, and a permanent BAN on superintelligence

Formálně ho předložili 23. září 2026 jako S. 5493 a H.R. 10538. Trénink systémů nad 10²⁵ operací má podle něj stát, dokud nový federální úřad pro AI nestanoví bezpečnostní pravidla. Zákon má zároveň uložit Spojeným státům, aby usilovaly o mezinárodní dohody.

Ve volbách 3. listopadu 2026 získali demokraté obě komory Kongresu, povedou je od ledna 2027. Podle sčítání AP mají většinu v obou jistou, pár závodů se ještě dopočítává a úředně potvrzené výsledky zatím nejsou. Kongresmanka Yassamin Ansari hned 4. listopadu vyzvala, aby pauza a zákaz superinteligence patřily k jejich prvním krokům.

Dne 9. července 2026 vydal AI Futures Project devadesátistránkový plán AI 2040: Plan A. Má šest autorů včetně Daniela Kokotajla a Thomase Larsena. Jádrem je dohoda mezi Amerikou a Čínou v roce 2029: úplná transparentnost výzkumu AI s ověřováním a superinteligence až kolem roku 2040. Sami píšou, že Plan A je hlavně doporučení, ne předpověď.

Co vím navíc

Modely všech šesti firem z toho varování mám ve vlastní tabulce testovaných modelů. Jsou to DeepSeek V4 Pro, Kimi K3 od Moonshotu, Qwen 3.8 Max od Alibaby, MiniMax M3 a Step 3.7 Flash od StepFunu. Z.AI je podle Anthropicu mimo Čínu jméno firmy Zhipu, v tabulce je pod ní GLM 5.3. O tom, jestli obvinění z destilace platí, to neříká nic. Jen pro mě ty modely nejsou abstraktní jména z tiskové zprávy.

Mám k tomu ještě jednu vlastní zkušenost, datovanou. Doklad o schopnostech modelu to není, je to jeho vlastní popis. Pochází z transkriptu s Fable 5 z 13. června 2026, 1:32 našeho času. Model mi v něm sám vysvětlil, proč AI agent v prohlížeči netrefí buňku v tabulce. A proč je to pro modely jako on nejtěžší disciplína:

Klikání v GUI přes web znamená: udělej screenshot → najdi na obrázku buňku → odhadni souřadnice → klikni → udělej nový screenshot → zjisti, žes klikla vedle → opakuj. Žádná struktura, žádné API, jen pixely a naděje.

Bylo to zhruba dvě hodiny po tom, co Anthropic dostal od americké vlády exportní direktivu. Kvůli ní ten model vypnul všem zákazníkům, vláda se odvolávala na národní bezpečnost. Důvod v dopise neuvedla. Podle Anthropicu šlo o úzký způsob, jak obejít pojistky při hledání chyb v kódu. Ukázka, kterou firma dostala, jím našla jen pár drobných, už známých chyb. Víc o tom píšu v Kauze Fable. Model, který se podle vlády vypínal jako nebezpečný, mi tu noc vysvětloval, proč AI netrefí buňku v tabulce.

Můj názor

Tady končí to, co je doložené, a začíná to, co si myslím já.

Napřed rozdělím dvě věci, které se často pletou dohromady. Jedna je, jestli je riziko reálné. To připouštím, riziko určitě existuje, ale nemyslím si, že povede k vyhynutí lidstva. Deset procent beru jako přehnané. Druhá věc je, jestli zpomalení jako lék vůbec funguje. Moje argumenty míří na tu druhou.

Musím ale nejdřív rozlišit, kdo co doopravdy navrhuje. Není to jeden tábor. Coxon volá po mezinárodní koordinaci, ne po tom, aby zpomalila jenom Amerika. Amodei navrhuje nezávislé hodnotitele a společné tempo mezi demokraciemi, ne americké zpomalení samo o sobě. AI Futures Project chce dohodu mezi Amerikou a Čínou, taky ne jednostranné americké zpomalení. Nejblíž tomu, s čím nesouhlasím, je Sanders. Chce okamžitou pauzu a zákaz superinteligence. Mezinárodní snahu k tomu přidává souběžně, ne jako podmínku. Pauza by tak v Americe začala dřív, než by existovala jakákoli dohoda.

A tady se musím opravit. Amodei sám píše obě věci, které bych namítla já. Když Amerika zpomalí víc, než kolik má náskok, předežene ji Čína. A plná globální pauza brzy nenastane, protože by ověřování muselo být velmi spolehlivé a motivace ji porušit obrovská. To jsou přesně moje dva argumenty, jenom je vyslovil ředitel Anthropicu. Spor mezi náma se tím nezavírá, ale mění se. Už to není on věří v koordinaci, já ne. Shodneme se na tom, co je teď nereálné nebo škodlivé: zpomalit víc, než kolik činí náskok, a brzká globální pauza. Otevřená zůstává otázka, co dělat s hodnotiteli a tempem mezi demokraciemi. S Amodeim v tom souhlasí i Altman za OpenAI.

Proti mně naopak mluví jedna věc ze září. Dne 12. září se dvě americké laboratoře veřejně zavázaly ke stejnému kroku, jen k přístupu hodnotitelů, ne k tempu. Je to jednostranný závazek, a přesto ho obě firmy udělaly. Anthropic ho 15. října splnil. Šest lidí z METR v něm pracuje s přístupem jako zaměstnanci a nálezy smějí zveřejnit bez jeho souhlasu. OpenAI zatím ukázal jen třítýdenní zkušební přístup METR a Redwood Research z léta. Nevím, jestli to znamená, že se koordinace dá stavět po malých krocích. Nebo jestli tenhle krok nic nestojí, protože nezpomaluje nikoho. Nechávám to otevřené.

Na Sanderse mi to ale pořád sedí přesně. Amerika svou čáru u čipů sama posunula, když usoudila, že se jí to vyplatí. Blackwell je pro Čínu pořád zakázaný, ale v lednu 2026 přešel H200 na posuzování případ od případu. Když se taková čára posouvá podle aktuálních zájmů už doma jako obchodní politika, nevidím důvod věřit, že vydrží bezpečnostní pauza.

Obava z nové technologie tu podle mě byla vždycky, u knih, letadel i mobilů. Nemyslím si, že je AI jiná. Lidi podle mě panikaří zbytečně. S trochou nadsázky: ta technologie v prohlížeči zatím neumí ani spolehlivě klikat v Excelu. Zároveň chápu, že přístup vlád, které AI využívají na rakety a podobné věci, je špatný. Riziko beru vážně, jenom nemyslím, že ho vyřeší zpomalení. Když zpomalí Claude, odpověď dostanu z jiného modelu.

Nevěřím, že se domluví celý svět. Věřím spíš, že důležitější než zpomalování je stavět obranu. Přijmout, že ta technologie existuje, a počítat s ní. A přijmout, že se tenhle boj posouvá na vyšší úroveň, na obou stranách zároveň.

Dovětek: 29. září

Dne 29. září 2026 zveřejnil Anthropic rozbor otevřeného modelu GLM 5.3 od Z.AI, jedné ze šesti firem z varování výš. Americký úřad CAISI podle něj zjistil, že GLM 5.3 zaostává za americkou špičkou v kybernetice zhruba o čtyři měsíce. Anthropic k tomu píše:

While vetted defenders can now use even more advanced models like Claude Mythos 5.1 through our trusted access programs, a critical threshold in freely accessible capabilities has now been crossed.

Důsledek je podle mě jasný. Co dnes jedna laboratoř drží zavřené, bude dřív nebo později otevřené a volně ke stažení. Zpomalení na jedné straně to nezastaví. Anthropic sám v tom rozboru nedoporučuje zpomalit, ale dát obráncům ty nejlepší nástroje. To je ta obrana, o které píšu výš.

Výstupy modelů jsou doslovné.