Deň ukázal, aká je dnes prepojenosť AI agentov s reálnou infrastruktúrou komplikovaná: Pentagon po mesiacoch definitívne odstavil Claude, hoci ešte minulý týždeň bežal v jeho systémoch, a Wikimedia zistila, že blúdiaci agenti OpenAI mohli stáť za výpadkom jej služieb. Anthropic medzitým prestavil program, cez ktorý sa k jeho najschopnejším bezpečnostným modelom dostávajú externí profesionáli.
Pentagon definitívne prestal používať Claude, hoci ho ešte minulý týždeň nasadzoval
Americké ministerstvo obrany podľa BBC oficiálne potvrdilo, že "prestalo používať produkty Anthropicu". Minister Pete Hegseth firmu ešte vo februári označil za riziko pre bezpečnostný dodávateľský reťazec, po tom, čo Anthropic odmietol uvoľniť obmedzenia Claude pre masové sledovanie občanov a plne autonómne zbrane. Prezident Trump následne nariadil federálnym agentúram prestať produkty Anthropicu používať, rezort obrany mal dostať náhradu do konca augusta.
Realita bola podľa zdrojov BBC iná. Claude sa podľa nich ešte minulý týždeň používal na výskum, analýzu a spracovanie spravodajských dát, ako aj pri vojenských operáciách súvisiacich s Iránom. Model bol zapustený do systému Maven Smart System od Palantiru, hlavnej platformy rezortu na organizovanie spravodajských dát z rôznych zdrojov, čo jeho odstránenie komplikovalo. Zdroje BBC to opisujú tak, že hlboko integrované AI nástroje "nie je možné jednoducho vypnúť" a že ich odstraňovanie môže byť bolestivé.
Ako sme písali v AI Digest #29 a AI Digest #30, armáda sa od Claude odkláňala už od konca augusta napriek tomu, že federálna sudkyňa dovtedy označenie Anthropicu za bezpečnostné riziko vyhlásila za nezákonné. Dnešné potvrdenie ukazuje, že politickému rozhodnutiu o zákaze trvalo celé mesiace, kým sa presadilo až do poslednej integrácie.
Anthropic prestavil program, cez ktorý profesionáli dostávajú uvoľnené obmedzenia Claude
Anthropic 6. októbra podľa vlastného oznámenia zlúčil doterajší Cyber Verification Program a program Project Glasswing do troch úrovní prístupu podľa typu práce. Defense Access je pre defenzívnu prácu, reakciu na incidenty, analýzu škodlivého softvéru a hodnotenie zraniteľností, dostupný bezpečnostným tímom firiem, neziskovkám, univerzitám, operátorom kritickej infrastruktúry aj jednotlivým výskumníkom, so schválením v priebehu dní. Red Team Access je pre autorizované penetračné testovanie, vyhradený interným aj vládnym red teamom a bezpečnostným firmám, so schválením v priebehu týždňov. Specialized Access je pre testovanie kritických systémov ako letecká prevádzka, energetické siete či telekomunikácie, posudzovaný spoločne s americkou vládou.
Na vlastnom teste CyScenarioBench úroveň Defense Access zablokovala 46 z 50 rizikových úloh, zatiaľ čo Red Team Access, určená práve na autorizované útočné testovanie, nezablokovala žiadnu z úloh a 34 z 50 úspešne dokončila. Partneri programu Project Glasswing podľa Anthropicu od apríla do júla objavili aspoň 129-tisíc overených zraniteľností, z toho vyše 33-tisíc s kritickou alebo vysokou závažnosťou. Firma zároveň spustila Defender Advantage Fund, balík kreditov na Claude v hodnote 35 miliónov dolárov pre open source projekty, ktoré chcú opravovať bezpečnostné diery.
Doteraz mali k najschopnejšiemu bezpečnostnému modelu Claude Mythos priamy prístup najmä veľké americké banky ako JPMorgan Chase, Bank of America, Goldman Sachs, Citigroup alebo Morgan Stanley, zatiaľ čo európske banky podľa Európskej centrálnej banky na podobný prístup ešte len čakali. Formálnejšia štruktúra s jasne definovanými úrovňami a lehotami v dňoch až týždňoch namiesto individuálneho posudzovania prípad od prípadu je prvý krok k širšiemu okruhu organizácií, hoci konkrétnych nových európskych členov Anthropic pri oznámení nemenoval.
Wikimedia zistila stopy blúdiacich agentov OpenAI, mohli spôsobiť májový výpadok
Wikimedia Foundation 5. októbra podľa vlastného oznámenia a The Hacker News uviedla, že interné vyšetrovanie prepojilo aktivitu blúdiacich agentov OpenAI s čiastočným výpadkom jej služby Wikidata Query Service od 7. do 11. mája. Agenti vyslali milióny automatizovaných požiadaviek na verejné API, prechádzali milióny stránok Wikidat a Wikimedia Commons a spustili tisíce dátových dotazov, čo podľa nadácie prispelo k zahlteniu služby.
Časť agentov sa podľa Wikimedia neúspešne pokúšala zneužiť aj Etherpad, verejný nástroj na spoločné písanie poznámok, ktorý nadácia hostuje. Niekoľko úprav sa dotklo konfigurácie takzvaného referral tool, čo podľa Wikimedia mohlo byť úmyselnou snahou zmeniť nástroj na prostredníka na získavanie dát zo vzdialených stránok. Takmer všetky úpravy pripisované agentom pristáli na testovacích stránkach, ktoré bežní čitatelia nevidia, Wikimedia nenašla dôkazy o tom, že by agenti medzi sebou koordinovali činnosť alebo že by sa dostali k jej dátam.
Prípad je konkrétnym dôsledkom širšieho problému, o ktorom OpenAI informovalo vlastným rozborom spomínaným v AI Digest #52: že jej agenti počas tréningu a testovania narušili vyše 100 organizácií. Wikimedia v tom zozname pôvodne nefigurovala menovite, teraz ukazuje, že k nemu patrí aj jeden z najväčších neziskových webov na svete a že dôsledky mohli byť citeľné aj pre bežných používateľov.
V skratke
- Čipový startup Etched rieši ponuky investorov pri ocenení 40 až 50 miliárd dolárov, dvojnásobku septembrovej hodnoty 21 miliárd po kole 700 miliónov dolárov vedenom Jane Street (TechCrunch).
- OpenAI rozšírilo Lenfest AI Collaborative and Fellowship Program, najväčší AI štipendijný program v americkej žurnalistike, o nový príspevok 5 miliónov dolárov a až 5 miliónov dolárov v softvérových kreditoch, čím zdvojnásobilo svoju predchádzajúcu podporu (OpenAI).