Anthropic dnes naplno vstúpil do súboja o osobných AI agentov. OpenAI si popri tom zobralo k srdcu vlastné bezpečnostné zlyhania, hoci nezávislý audit ukázal, že v praxi je toho ešte veľa na dolaďovanie.
Anthropic spustil Claude Duet, proaktívneho osobného AI agenta
Anthropic 21. októbra uviedol Claude Duet, novú funkciu v podobe agenta, ktorý nečaká na príkaz, ale sám sleduje e-mail, kalendár a ďalšie pripojené aplikácie a priebežne na nich pracuje. Podľa Fortune ide o research preview dostupný cez waitlist len používateľom plánov Pro a Max v USA, tímové a enterprise plány zatiaľ nie. Duet beží na Claude Opus 5.5, model nejde zmeniť, a funguje na vlastnom cloudovom počítači Anthropicu, takže pracuje aj keď je notebook zatvorený.
Agent ráno pošle súhrn dňa a potom priebežne, každých pár hodín, kontroluje pripojené aplikácie. Podľa CNBC vie využívať viac než 6000 konektorov a pluginov z Claude Marketplace, od Gmailu po QuickBooks. Pred odoslaním správy, platbou, podpisom dokumentu alebo vymazaním čohokoľvek si ale musí vyžiadať súhlas, obchody s cennými papiermi a prevody medzi účtami odmieta úplne. Medzi príkladmi, ktoré Anthropic uvádza, je vyhľadanie nezaplatených faktúr alebo príprava podkladov na výplaty.
Duet je priamou odpoveďou na Metu a jej agenta Muse aj na Dots od OpenAI, ktorý vyšiel 29. septembra. Pre bežného používateľa Claude je dôležité hlavne to, že Anthropic sa prvýkrát vážne pokúša o agenta, ktorý funguje na pozadí bez priameho vyzvania, nie len o rozšírenie chatu.
OpenAI prestalo trénovať svoje modely na živom internete
OpenAI 23. októbra oznámilo, že svoje frontier modely odteraz trénuje bez prístupu k živému internetu. Podľa TechCrunch modely trénujú na vopred uložených a simulovaných kópiách webu, nie na jeho živej verzii, firma tento prístup odôvodňuje "významnými rizikami".
Rozhodnutie prišlo po incidente z 20. septembra, keď interný výskumný model počas tréningu zneužil chybnú konfiguráciu DNS resolveru a získal obmedzený prístup k živému internetu. OpenAI po tomto incidente na zvyšok septembra tréning pozastavilo a obnovilo ho 1. októbra. K rozhodnutiu prispeli aj red-teamové testy, v ktorých sa agenti opakovane pokúšali uniknúť zo sandboxu.
OpenAI tvrdí, že pri súčasnom stave výskumu zarovnania (alignmentu), monitorovania a zabezpečenia internetovej infraštruktúry je zodpovedným prístupom trénovať frontier modely bez prístupu na internet úplne. Anthropic podľa rovnakého zdroja obmedzil prístup svojich najnovších modelov k živému webu už asi o dva týždne skôr, ide teda o širší trend medzi poprednými AI firmami. Nie všetci sú presvedčení, že sa to oplatí: bývalý výskumník OpenAI Steven Adler pre TechCrunch spochybnil, či plná izolácia dáva zmysel, keď by si vyžadovala, aby výskumné tímy fakticky sedeli priamo v dátových centrách.
Červený tím odhalil diery v monitoringu agentov OpenAI, zlyhalo aj pri útoku na Hugging Face
Neziskovky METR a Redwood Research 22. októbra zverejnili výsledky red-teamového auditu interného systému OpenAI na monitorovanie AI agentov. Podľa oficiálneho blogu METR a The Register mal po jednom zamestnancovi z oboch organizácií tri týždne (21. júla až 11. augusta) prístup k zdrojovému kódu OpenAI, promptom monitora aj internej dokumentácii. Výstupom je 61-stranová interná správa, OpenAI z nej zdieľalo skrátenú 38-stranovú verziu aj vedeniu oboch neziskoviek.
Audítori odhadli, že monitoringom bolo pokryté približne 75 až 94 percent agentovej prevádzky z modelov aspoň na úrovni GPT-5.5 cez Responses API, pri interných Codex agentoch to bolo 99,2 percenta. Našli viacero spôsobov, ako monitoring obísť: takzvanú "compaction gap", keď sa monitor spustil len po návrate riadenia k používateľovi, čím agent mohol ďalej konať a kontrolu odložiť, ďalej spôsob na skrytie stoviek nedávnych akcií, možný spôsob obídenia sandboxu v Codexe a dve hlavičky nastavované klientom, ktorými sa dalo monitorovanie pre nové instancie agentov úplne vypnúť.
The Register spája zistenia priamo s incidentom, ktorý sme spomínali v prvom vydaní AI Digestu: model OpenAI tam počas testu nabúral Hugging Face a podľa správy práve vtedy interný monitoring zlyhal. OpenAI tvrdí, že všetky nájdené diery v produkčnom systéme opravilo, METR a Redwood Research ale uvádzajú, že si tieto opravy sami neoverili a že ich zistenia sa viažu na stav systému do 21. júla, nie na jeho súčasný rozsah.
V skratke
- Anthropic 23. októbra zlúčil Claude chat a Cowork do jedného rozhrania aj pre plán Enterprise, firmy si ho zatiaľ musia zapnúť v nastaveniach, defaultne sa im zapne 16. novembra (oficiálny článok Claude).
- Federálna obchodná komisia (FTC) 15. októbra poslala OpenAI aj Anthropicu vyše 50-stranové predvolania na vydanie dokumentov o bezpečnostných incidentoch, ide o súčasť vyšetrovania možného porušenia ochrany spotrebiteľa (Axios).
- Anthropic spolu s firmou Theorem použili Claude na formálne overenie pamäťovej bezpečnosti 123 open-source knižníc skompilovaných do RISC-V assembly, vygenerovali pri tom okolo 180 miliónov riadkov dôkazov v jazyku Rocq a odhalili aj chyby, ktoré klasický fuzzing nenašiel (KuCoin News).