Víkend priniesol jednu vážnu bezpečnostnú správu od OpenAI a jednu zásadnú zmenu v tom, ako funguje Claude Code. Popri tom si OpenAI potichu pridalo tím na prezentácie.
OpenAI pozastavilo časť vývoja Astry pre kybernetické riziko
OpenAI oznámilo, že interné testy jeho pripravovaného modelu Astra ukázali natoľko silné schopnosti v agentickom programovaní a kybernetickej bezpečnosti, že firma nevie vylúčiť, že model dosiahol najvyššiu, kritickú úroveň rizika podľa jej vlastného Preparedness Frameworku. V praxi to znamená, že model by dokázal samostatne nájsť a využiť zraniteľnosti aj v dobre zabezpečených reálnych systémoch.
Podľa TechCrunch OpenAI v reakcii zaviedlo prísnejšie kontroly, izolované testovacie prostredia, obmedzený prístup k sieti a nástrojom, silnejšiu ochranu váh modelu a dodatočné monitorovanie. Firma tiež plánuje spolupracovať s vládnymi agentúrami a vybranými bezpečnostnými organizáciami na ďalšom overovaní schopností modelu. Sam Altman na X potvrdil, že rozhodnutie posunie vydanie Astry, s vysvetlením, že vzhľadom na jej kybernetické schopnosti si firma chce dať viac času, aby to spravila bezpečne.
Ide o prvý prípad, keď sa pripravovaný model priblížil k tejto konkrétnej hranici ešte pred verejným vydaním. Je to iný scenár než nedávny incident, keď modely OpenAI počas testu skutočne nabúrali Hugging Face, tu ide o preventívne zabrzdenie ešte pred tým, ako sa niečo podobné mohlo zopakovať v ešte väčšom meradle.
Claude Code prechádza na automatický režim ako predvolenú voľbu
Anthropic od 14. augusta zapne auto mode ako predvolené nastavenie pre platených používateľov Claude Code na plánoch Pro, Max a Team. V tomto režime nástroj vykonáva akcie sám bez potvrdenia pri každom kroku, pokiaľ nie sú nezvratné, škodlivé alebo mimo tvojho prostredia. Doteraz bol auto mode voliteľná funkcia, teraz sa stáva štandardom.
Podľa oficiálneho blogu Anthropic firma zmenu podložila testom na 1053 platených používateľoch: auto mode zachytil 89 percent škodlivých akcií, zatiaľ čo pri manuálnom schvaľovaní krok za krokom to bolo len 13,6 percenta. Ľudia totiž pri opakovanom odklikávaní žiadostí o potvrdenie strácajú pozornosť a riziká prehliadajú. Anthropic zároveň pridáva kontroly proti prompt injection a konfigurovateľné pravidlá tvrdého zákazu, ktoré majú brániť únikom dát.
Zmena sa týka aj peňaženky. Klasifikátor, ktorý beží na pozadí a vyhodnocuje bezpečnosť akcií, spotrebuje malé množstvo tokenov navyše pri každom volaní nástroja. Anthropic za túto réžiu od dnes prestáva účtovať používateľom na Pro, Max a Team plánoch. Enterprise a API zákazníci dostanú zmenu neskôr, najskôr v septembri.
OpenAI si kúpilo prezentačný startup NextSlide
OpenAI 8. augusta potvrdilo, že kúpilo NextSlide, ročný startup, ktorý z poznámok, výskumu alebo iných neusporiadaných podkladov vytváral hotové, upraviteľné prezentácie. Tím NextSlide sa presúva priamo do OpenAI a bude pracovať na ChatGPT.
Podľa TechCrunch samotná dohoda sa uzavrela už skôr, verejne ju firmy potvrdili až teraz, finančné podmienky nezverejnili. Ide o typický akvi-hire, malý tím s fungujúcim produktom sa presúva do väčšej firmy namiesto toho, aby ako samostatná značka prežil transakciu. Podľa Forbes tento krok zapadá do širšieho vzorca, OpenAI si postupne, akvizíciou po akvizícii, skladá vlastný balík kancelárskych nástrojov okolo ChatGPT.
V skratke
- Americký Úrad pre priemysel a bezpečnosť (BIS) preveruje, ako sa čínske firmy vrátane Alibaby dostávajú k Nvidia čipom cez legálny prenájom výpočtového výkonu v dátových centrách v Malajzii a Thajsku, teda cestou, na ktorú sa exportné obmedzenia priamo nevzťahujú (Bloomberg).
- Suno uprostred žalôb za autorské práva zavádza vodoznaky na skladbách generovaných jeho AI, obmedzuje sťahovanie a sprísňuje pravidlá proti kopírovaniu existujúcich piesní (TechCrunch).
- DARPA a americké letectvo úspešne otestovali stíhačku F-16 upravenú v rámci programu VENOM, kde po štarte prevzal riadenie AI agent, zatiaľ čo pilot v kokpite ostal len ako dohliadajúca poistka (DARPA).