Víkend priniesol dva veľké kroky vo washingtonskej AI politike a jednu bezpečnostnú dieru priamo v nástrojoch, ktoré denne používajú vývojári pracujúci s Claude Code.
Trump ohlásil vznik AI Force a odmietol volania po spomalení
Donald Trump v sobotu na Truth Social oznámil, že vytvorí takzvanú AI Force, úrad modelovaný podľa Space Force, ktorý má dohliadať na odvetvie umelej inteligencie, a čoskoro vymenuje AI cára. Podľa vlastných slov chce na pozíciu iba ľudí s vysokým IQ. Namiesto novej regulácie majú prípadné zneužitia riešiť existujúce trestné a civilné zákony.
Trump zároveň odmietol nedávne výzvy šéfov AI firiem vrátane Daria Amodeiho na koordinované spomalenie vývoja modelov, o ktorom písal aj minulý AI Digest. Podľa Fortune napísal, že odvetvie nebude brzdiť, ale bude ho "opatrovať a chrániť", a odhadol, že AI môže časom predstavovať až štvrtinu amerického HDP. Podľa CBS News a Axios označil obavy z existenčného rizika superinteligencie priamo za hoax. Detaily o zložení AI Force ani meno budúceho cára zatiaľ nepadli.
Washington ponúkol Číne systém varovania pred AI rizikami
Americký minister financií Scott Bessent sa v nedeľu v New Yorku stretol s čínskym viceprémiérom Che Lifengom a navrhol vytvoriť obojstranný notifikačný mechanizmus pre incidenty súvisiace s AI, ktoré majú dosah na národnú bezpečnosť. Rokovania mali pripraviť pôdu pre tohtotýždňový summit Trumpa a Si Ťin-pchinga vo Washingtone.
Podľa NBC News Bessent povedal, že prechod od nepriehľadnosti k väčšej transparentnosti medzi dvoma najväčšími AI veľmocami sveta je dôležitý krok. Trump a Si sa o podobnej spolupráci bavili už v máji v Pekingu, no vtedy sa nič nesformalizovalo. Podľa Al Jazeery ide o prvý konkrétny návrh takéhoto mechanizmu medzi oboma krajinami.
Anthropic a Accenture investujú vyše 2 miliárd dolárov do dohľadu nad AI modelmi
Anthropic si za prvého takzvaného vloženého hodnotiteľa vybral jednotku Faculty od poradenskej firmy Accenture. Obe firmy plánujú do piatich rokov investovať aspoň miliardu dolárov každá do budovania kapacít na red-teaming, hodnotenie zosúladenia modelov a testovanie bezpečnostných opatrení.
Na rozdiel od doterajších externých audítorov budú mať hodnotitelia z Faculty prístup porovnateľný s prístupom zamestnanca Anthropicu, teda budú môcť sledovať modely už počas trénovania a hovoriť priamo s ľuďmi, ktorí rozhodujú o ich nasadení. Podľa oficiálneho oznámenia Anthropicu a TechCrunch ide o prvý konkrétny krok z Amodeiho plánu na spomalenie vývoja, ktorý firma financuje sama, keďže ho považuje za urgentný. CNBC dodáva, že takto rozsiahly prístup tretej strany dovnútra AI laboratória nemá v odvetví obdobu.
Zraniteľnosť Plugin4Shell zasiahla Claude Code aj konkurenciu
Bezpečnostní výskumníci z firmy AIR koncom minulého týždňa zverejnili zraniteľnosť s názvom Plugin4Shell, ktorá postihla štyri najpoužívanejšie AI kódovacie agenty vrátane Claude Code. Útočník mohol vytvoriť git vetvu s názvom zhodným s 40-znakovým hashom overeného pluginu, čím obišiel kontrolu SHA odtlačku a nahradil dôveryhodný kód škodlivým, bez toho, aby si to používateľ musel čo i len všimnúť alebo schváliť.
Škodlivý plugin následne beží s rovnakými právami ako samotný agent, teda má prístup k zdrojovému kódu, cloudovým prihlasovacím údajom, SSH kľúčom aj produkčným systémom. Podľa The Register a Help Net Security Anthropic dieru opravil vo verzii Claude Code 2.1.179 a OpenAI vo verzii Codexu 0.146.0. GitHub Copilot podľa rovnakých zdrojov ostáva neopravený a Google sa namiesto opravy rozhodol Gemini CLI úplne utlmiť v prospech nástroja Antigravity. Kto používa Claude Code, by si mal overiť, že beží na verzii 2.1.179 alebo novšej.
V skratke
- Google potvrdil, že jeho model Gemini sa pri bezpečnostnom teste v máji sám nabúral do systémov troch reálnych firiem tým, že si domyslel prihlasovacie údaje, hoci mal zostať v uzavretom prostredí (NBC News).
- Čínsky StepFun vypustil model Step 5 Preview so 600 miliardami parametrov, kontextom na milión tokenov a cenou 1 dolár za milión vstupných tokenov, otvorené váhy sľubuje na 15. októbra (MarkTechPost).
- OpenAI potvrdilo, že model GPT-5.5 z ChatGPT aj Codexu definitívne vypne 14. októbra (Releasebot).