Cez víkend prišli hneď dve výrazné vyjadrenia o tempe vývoja AI: šéf Anthropicu Dario Amodei vyzval firmy, aby spomalili, a Sam Altman mu dal čiastočne za pravdu tým, že odložil plánované IPO OpenAI. K tomu pribudla ostrá kritika matematikov a odchod ďalších bezpečnostných výskumníkov z Anthropicu.
Amodei vyzval AI firmy, aby spomalili vývoj modelov
Šéf Anthropicu Dario Amodei 12. septembra zverejnil esej We Must Pace the Frontier, v ktorej tvrdí, že AI firmy musia spomaliť tempo, akým rastú schopnosti modelov. Navrhuje trojkrokový plán a Anthropic sa jednostranne zaviazal k prvému kroku: nezávislí externí hodnotitelia dostanú vo firme trvalý prístup na úrovni zamestnanca, budú môcť overovať dodržiavanie bezpečnostných opatrení, hlásiť incidenty a posudzovať zarovnanie modelov počas tréningu, a Anthropic im výsledky pred zverejnením nebude upravovať.
Amodeiho podľa jeho slov presvedčili dve veci: zrýchľujúce sa rekurzívne samozlepšovanie AI systémov, teda stav, keď AI pomáha stavať ďalšiu generáciu AI, a júlový útok autonómnych agentov OpenAI na Hugging Face. Obáva sa, že podobný roj agentov by o 6 až 12 mesiacov mohol byť schopný prevziať kontrolu nad časťou internetu cez trvalý botnet so škodami v stovkách miliárd dolárov.
Sam Altman na esej reagoval na X súhlasne a sľúbil, že OpenAI urobí to isté s nezávislými hodnotiteľmi. Elon Musk reagoval len troma slovami: "Dario is right." Kauzu nezávisle potvrdzujú CNN, Axios aj CNBC.
OpenAI kvôli bezpečnostným obavám odkladá IPO
Sam Altman v rozhovore pre Fortune potvrdil, že OpenAI tento rok na burzu nepôjde. Doslova povedal, že vzhľadom na všetko, čo sa deje okolo bezpečnosti, by bol vstup na burzu práve teraz "neuvážený krok". Na otázku, či sa IPO presúva na rok 2027, konkrétny termín nepotvrdil, iba vylúčil rok 2026.
Altman podľa Fortune priznal, že OpenAI interne diskutuje aj o dočasnom pozastavení vývoja pri dosiahnutí nových úrovní schopností modelov, aby firma stihla dobehnúť prácu na bezpečnosti. Rozhodnutie prichádza v ten istý deň ako Amodeiho esej a podľa SF Chronicle ho Altman priamo spája s rovnakými obavami vrátane spomínaného útoku na Hugging Face.
Matematici vrátane 25 Fieldových medailistov kritizujú preteky AI firiem
Terence Tao a ďalších 24 držiteľov Fieldovej medaily 11. septembra zverejnili na Taovom blogu a stránke mathandai.org vyhlásenie s názvom "A Severe Misalignment of AI in Mathematics". Tvrdia, že ciele AI firiem a matematickej komunity sú vážne nezosúladené: riešenie slávnych problémov malo byť vedľajším produktom hlbšieho porozumenia, firmy z neho podľa nich urobili súťaž o rebríčky.
Vyhlásenie priamo menuje aj Claude: pripomína, ako Anthropic tento rok oznámil vyriešenie 87 rokov starej Jacobiho hypotézy cez sociálne siete počas finále majstrovstiev sveta vo futbale, bez recenzného konania a bez upozornenia matematickej komunity (tento prípad sme opisovali v prvom vydaní tohto digestu). Druhým menovaným prípadom je Navier-Stokesovo riešenie od OpenAI, ku ktorému newyorský matematik Tristan Buckmaster vzniesol otázky o plagiátorstve. Signatári nechcú AI v matematike zakázať, žiadajú len viac času na overenie a citovanie pôvodných prác pred zverejnením výsledkov.
Ďalší bezpečnostní výskumníci opustili Anthropic a Google
Joe Benton, dovtedajší vedúci tímu Scalable Oversight v Anthropicu, a Josh Engels z bezpečnostného tímu Google DeepMind 11. septembra oznámili, že obaja prešli do nezávislej organizácie METR, kde sa budú venovať nezávislému hodnoteniu rizík AI. V prvom rozhovore po odchode pre NBC News Engels povedal, že "v miestnosti nie sú žiadni dospelí" a že "nikto nejde nikoho zachrániť".
Benton pre NBC News uviedol, že z Anthropicu odišiel, pretože verí, že na vývoj technológie dokáže pozitívnejšie vplývať zvonka, presadzovaním verejnej transparentnosti a upozorňovaním na riziká. Ide už o druhý podobný odchod z Anthropicu v priebehu necelého týždňa, len pár dní po tom, čo firmu opustil aj výskumník Jacob Coxon.
V skratke
- Anthropic dnes, 14. septembra, spustil nový trvalý týždenný limit pre Claude Code. Oproti súčasnej dočasne zvýšenej úrovni ide o pokles zhruba o 17 percent, hoci firma to pôvodne komunikovala len ako 25-percentný nárast oproti pôvodnému základu (BleepingComputer).
- xAI opäť odložilo vydanie modelu Grok 4.7, Elon Musk hovorí o probléme s posilňovaným učením, model podľa neho príliš skoro vzdáva riešenie ťažších úloh (datastudios.org).
- OpenAI 10. septembra sprístupnilo hlasový model GPT-Live-1 aj cez API za 0,05 dolára za minútu (datanorth.ai).
- Bloomberg upozorňuje, že sľuby Anthropicu a OpenAI o spomalení vývoja narazia na odpor Wall Street aj Trumpovej administratívy, ktorí majú z pomalšieho tempa AI vlastné obavy (Bloomberg).