Štvrtok 15. októbra patril najmä kontrole nad AI: Anthropic prvýkrát pustil nezávislých hodnotiteľov k svojim interným nástrojom takmer ako zamestnancov a ServiceNow spolu s Nvidiou spustili nástroj, ktorý má AI agentom overovať identitu a obmedzovať, čo smú robiť.
Anthropic dal tímu z METR prístup k interným nástrojom ako zamestnancom
Anthropic 15. októbra oznámil, že šestici ľudí z neziskovky METR, ktorá nezávisle hodnotí špičkové AI modely, dal prístup k firemnému hardvéru, kancelárskym priestorom a interným nástrojom v rozsahu podobnom tomu, aký majú vlastné tímy Anthropicu na posudzovanie rizík. Zamestnanci Anthropicu majú s touto skupinou zdieľať informácie voľne, s výnimkou dát klientov, informácií chránených advokátskym tajomstvom a detailov o architektúre modelov.
METR podľa oznámenia bude môcť svoje hodnotenia rizík a praxe Anthropicu publikovať bez toho, aby to firma mohla vetovať, Anthropic si môže vyžiadať len redigovanie informácií z vyššie uvedených chránených kategórií. Krok nadväzuje na partnerstvo s Accenture (cez jej jednotku Faculty) z 18. septembra, v ktorom sa obe firmy zaviazali investovať do podobného programu aspoň miliardu dolárov každá počas piatich rokov, ako vtedy písal TechCrunch. Anthropic opisuje tri úrovne prístupu pre externých hodnotiteľov, od úzko vymedzených previerok, ktoré firma schvaľuje pred publikovaním, až po úroveň METR s publikačnými právami takmer bez obmedzení. Súbežne nezávislá organizácia SecureBio preveruje kapitolu o chemických a biologických zbraniach z augustovej správy o rizikách Anthropicu.
Firma krok prirovnáva k bankovému dohľadu, kde regulátor sídli priamo vo veľkej banke, a tvrdí, že podobný model by mala zaviesť každá veľká AI firma. Kritici z The Next Web ale upozorňujú, že spoločné štandardy pre to, čo majú takíto hodnotitelia vidieť a ako majú reportovať, zatiaľ neexistujú, a samotný Anthropic v oznámení pripúšťa, že financovanie by do budúcna malo ísť skôr zo spoločných alebo verejných zdrojov než priamo od hodnotenej firmy.
ServiceNow spustil AI Passport, s Nvidiou overuje identitu AI agentov
ServiceNow 15. októbra predstavil AI Passport, kryptograficky podpísané poverenie, ktoré dáva jednotlivým AI agentom a serverom na protokole MCP overiteľnú identitu a umožňuje firmám v reálnom čase kontrolovať, čo môžu v rámci viackrokových úloh robiť. Nástroj je podľa CIO Dive a Constellation Research súčasťou ServiceNow platformy na správu agentov a hlavným partnerom pri jeho nasadení je Nvidia.
AI Passport nadväzuje na Nvidiin Open Agent Safety Platform, otvorenú platformu na zabezpečenie agentov, ktorú Nvidia predstavila 28. septembra a ktorá kombinuje runtime vrstvu OpenShell s monitorovacou vrstvou Sentry bežiacou nezávisle od samotného agenta. Keď agent prekročí vymedzené hranice, systém ho môže obmedziť alebo úplne zastaviť.
Pre bežného používateľa AI agentov je dôležité hlavne to, že podobná vrstva identity a kontroly sa začína presúvať z experimentálnych nástrojov do bežných podnikových platforiem. Keďže naviazanie na servery MCP, protokol pôvodne postavený Anthropicom, patrí medzi hlavné funkcie, ide priamo aj o nástroje, ktoré firmy pripájajú ku Claude.
V skratke
- Dlhopisy CoreWeave sa 15. októbra odrazili po prepade z predchádzajúceho dňa, o ktorom sme písali v AI Digeste #64: dlhopisy so splatnosťou 2031 pridali 3,3 centu na 82,8 centu z dolára a dlhopisy so splatnosťou 2030 pridali 5,7 centu na 91,3 centu, podľa roic.ai.
- Google 15. októbra upravil AI Overviews a AI Mode vo vyhľadávaní: odkazy na zdroje sa majú vo odpovediach zobrazovať vyššie a častejšie, pribudol test samostatnej sekcie pre jeden až dva hlavné zdroje danej témy a rozširuje sa aj funkcia Preferred Sources na výber preferovaných webov, podľa 9to5Google.