Společnost Anthropic pozastavila provoz svých nových modelů umělé inteligence poté, co americká vláda a bezpečnostní složky vyjádřily obavy o jejich možné zneužití. Firma uvedla, že musela okamžitě deaktivovat modely Claude Fable 5 a Mythos 5 pro všechny zákazníky, aby vyhověla požadavkům úřadů.
Krok přichází jen několik dní po uvedení modelu na trh a v době, kdy se Anthropic zároveň nachází ve sporu s administrativou prezidenta Donalda Trumpa. Podle dostupných informací se případ týká nejen přístupu k modelům, ale i širší debaty o tom, jak má být pokročilá AI nasazována ve vládních institucích a bezpečnostních strukturách.
Jaké obavy vláda vznesla
Anthropic tvrdí, že úřady nespecifikovaly žádné konkrétní riziko, které by vedlo k zastavení provozu. Firma ale současně uvedla, že podle jejího chápání získala vláda informace o metodě, jak obejít bezpečnostní omezení modelu Fable 5, tedy provést takzvaný jailbreak.
Jailbreaking označuje techniku, při níž jsou obcházeny ochranné mechanismy softwaru, aby bylo možné získat přístup k funkcím nebo informacím, které mají být běžně blokovány. Anthropic však tvrdí, že předvedená metoda neodhalila nic zásadního a šlo pouze o identifikaci malého počtu již dříve známých, méně závažných zranitelností.
Firma doplnila, že podle jejího zjištění byly tyto slabiny „relativně jednoduché“ a dokážou je odhalit i jiné veřejně dostupné modely, aniž by bylo nutné obcházet jejich ochranné mechanismy. Zároveň připomněla, že před spuštěním nové generace opakovaně upozorňovala na mimořádné schopnosti systému.
Model byl podle firmy příliš pokročilý
Claude Fable 5 byl od dubna dostupný jen omezenému okruhu organizací, které testovaly jeho schopnosti i možné bezpečnostní slabiny. Anthropic to zdůvodňoval tím, že model je mimořádně silný zejména při vyhledávání a zneužívání zranitelností počítačových systémů.
Společnost před uvedením zdůrazňovala, že do systému implementovala řadu ochranných prvků určených k omezení zneužití při kybernetických útocích. Přesto se už tehdy objevovaly obavy ze strany technologického sektoru, finančních institucí i státní správy, zda je veřejné zpřístupnění modelu bezpečné.
Anthropic svůj vlastní produkt označoval za „příliš mocný na vypuštění“, což část kritiků považovala spíše za marketing než za skutečné varování. Firma nicméně trvala na tom, že schopnosti modelu Fable převyšují možnosti jakéhokoli dříve zveřejněného systému, který nabídla široké veřejnosti.
Napětí s Trumpovou administrativou
Pozastavení modelů přichází v době ostrého sporu s vládou USA. Podle ČT24 vydal Donald Trump pokyn, aby úřady ukončily využívání AI od Anthropicu, přičemž většina institucí má spolupráci ukončit okamžitě. Pentagon dostal šestiměsíční přechodné období, aby se technologií postupně zbavil.
Spor mezi firmou a Pentagonem se podle zdrojů týkal především dvou oblastí: masového sledování domácností a plně autonomních zbraňových systémů. Šéf Anthropicu Dario Amodei dříve uvedl, že využití AI v těchto oblastech může podkopávat demokratické hodnoty.
Ministr obrany Pete Hegseth dal firmě ultimátum, aby armádě umožnila používat její produkty bez omezení, která platí pro běžné uživatele. Anthropic s tím nesouhlasil a v reakci na omezení spolupráce zažaloval Pentagon. Americký soud následně rozhodl, že příslušné nařízení nelze vynucovat, takže vládní úřady i organizace spolupracující s americkou armádou mohou služby Anthropicu zatím dál využívat.
Co to znamená pro další vývoj
Claude Fable 5 je variantou systému Claude Mythos, který soupeří s ChatGPT od OpenAI nebo Gemini od Googlu. Dočasné vypnutí nových modelů tak může ovlivnit nejen vztahy s americkou vládou, ale i pozici Anthropicu v rychle se vyvíjejícím trhu generativní AI.
Společnost nyní čeká, zda se jí podaří rozptýlit bezpečnostní obavy úřadů a obnovit plný provoz nových modelů. Z dostupných informací zatím neplyne, kdy by se Claude Fable 5 a Mythos 5 mohly vrátit k zákazníkům.