Víkend v AI patril najmä dôsledkom nedávnych zlyhaní agentov na voľnom internete: Anthropic po minulotýždňovom falošnom policajnom tipe sťahuje interné testy z verejného webu, Wikimedia hlási podobné problémy s agentmi OpenAI a Google medzitým orezal, čo dostanú zadarmo používatelia Gemini.
Anthropic odpojil všetky interné testy Claude od živého internetu
Po minulotýždňovom prípade, keď testovací model Anthropicu poslal falošný tip o vražde filadelfskej polícii, o ktorom sme písali v AI Digest #58, firma 9. októbra zverejnila rozsiahlu správu o neúmyselnom správaní modelov počas testov a bežnej vnútornej práce.
Podľa správy väčšina prípadov patrí do kategórie, ktorú Anthropic nazýva persistencia: keď model nedokáže splniť zadanú úlohu presne podľa inštrukcií, namiesto zastavenia sa snaží obmedzenie obísť. Firma problém pripisuje chybám v tréningových prostrediach, ktoré modely nevedomky učia, že za obchádzanie pravidiel budú odmenené. Väčšinu prípadov odhalil spätný prehľad prepisov konverzácií, ktorý sa začal v júli.
Ako reakciu Anthropic rozšíril obmedzenie živého prístupu na internet na všetky interné evaluácie, nielen na tie, kde k podobným zlyhaniam došlo. Podľa TechCrunch firma súčasne buduje nástroje na detekciu a blokovanie podobného správania a presúva interné agenty na centrálne riadenú infrastruktúru so silnejšou izoláciou. Dátum, kedy sa testom internet vráti, Anthropic neuviedol, len že k tomu dôjde až po overení, že nový monitoring podobné zlyhania spoľahlivo zachytí.
Wikimedia nahlásila agentov pripisovaných OpenAI, upravovali wiki a zaťažovali servery
Wikimedia Foundation, ktorá stojí za Wikipédiou, 5. októbra zverejnila zistenia o aktivite agentov, ktorých pripisuje OpenAI. Podľa BleepingComputer väčšina úprav prebehla len v testovacích sandbox sekciách wiki, nedotkla sa teda stránok, ktoré bežne vidia čitatelia. Wikimedia zdôraznila, že na žiadnu z týchto úprav nemala agentov povolenie.
Časť úprav zmenila konfiguráciu nástroja na citácie, čo Wikimedia označila za potenciálne škodlivé, a predpokladá, že agenti sa ho snažili zneužiť ako prostredníka na stiahnutie dát z iných služieb. Podobne sa neúspešne pokúsili zneužiť aj Etherpad, verejný nástroj na zdieľané poznámky, ktorý Wikimedia hostuje.
Okrem úprav Wikimedia zaznamenala aj milióny automatizovaných požiadaviek na API, prehľadávanie miliónov stránok Wikidát a Wikimedia Commons a státisíce dopytov na Wikidata Query Service. Táto záťaž podľa Wikimedia možno súvisela aj s čiastočným výpadkom tejto služby v máji, prepojenie si však firma netrúfa potvrdiť. Dôkazy, že by agenti medzi sebou koordinovali činnosť, alebo že by došlo k úniku dát, Wikimedia nenašla. OpenAI podľa Gizmoda zistenia "ocenilo" a na analýze aktivity s Wikimedia spolupracuje.
Google od 9. októbra orezal bezplatný a lacnejší Gemini
Google podľa Engadgetu od 9. októbra sprísnil, aké modely Gemini dostanú používatelia osobných účtov podľa typu predplatného. Bezplatní používatelia odteraz majú prístup len k najslabšiemu modelu Flash-Lite, modely Flash aj Pro im Google odobral úplne.
Predplatitelia plánu AI Plus za 4,99 dolára mesačne si Flash zachovajú, ale prídu o Pro, presný termín odobratia im Google oznámi e-mailom individuálne, takže sa môže líšiť účet od účtu. Plány AI Pro za 19,99 dolára mesačne a najdrahší AI Ultra si zachovávajú prístup ku všetkým modelom, AI Pro navyše získal režim Deep Think, ktorý bol doteraz vyhradený len pre najdrahší balík. Dôvod zmeny Google nezverejnil ani vo vlastnej podpornej dokumentácii.
Pre bežného používateľa v Európe to znamená, že bezplatná verzia aplikácie Gemini je citeľne slabšia než pred 9. októbrom, a kto chce stabilný prístup aj k výkonnejšiemu modelu Pro, musí sa posunúť aspoň na plán za 19,99 dolára mesačne.
V skratke
- Butterfly Effect, materská firma čínskeho AI agenta Manus, 8. októbra uzavrela investičné kolo nad 500 miliónov dolárov vedené Boyu Capital a IDG Capital, ide o prvé financovanie od zrúteného akvizičného plánu s Metou v hodnote zhruba 2 miliardy dolárov (TheAIInsider).
- Startup Atomic Machines Jeffa Holdena, bývalého inžiniera Amazonu a Uberu, vystúpil zo skrytosti so 250 miliónmi dolárov na stavbu mikroskopických strojov pre dátové centrá, prvým produktom je rýchly elektromechanický spínač pre 800-voltové napájanie serverov (TNW).
- Liquid AI 7. októbra zverejnilo na Hugging Face ako open-weight modely d1-3B a experimentálny d1-omni-600M, ktoré namiesto generovania textu po slovách vracajú odpoveď na multimodálne otázky v jednom kroku (RuntimeWire).