CyberJurnal

Știri · Analize · Securitate cibernetică

FrontierML testează cercetarea autonomă: agenții AI trebuie să-și verifice singuri progresul

Noul benchmark separă experimentele agenților de evaluarea finală. Rezultatele arată progres, dar și limite importante ale clasamentului și reproducerii.

Oprican Marius Edward2 min citire
Distribuie
XLinkedInFacebookWhatsAppTelegram
Birou de cercetare cu laptop, grafice ilustrative și notițe, imagine generată cu AI
Sursă foto: syntheticsciences.ai

Synthetic Sciences a publicat FrontierML, un set de teste care pune agenții AI în fața unei probleme mai dificile decât scrierea codului: să decidă singuri cum verifică dacă experimentele lor chiar funcționează. Prima versiune a codului a fost înregistrată pe 18 noiembrie. Sunt disponibile public 15 probleme de cercetare, dintr-un total de 25. Codul și istoricul proiectului.

Un rezultat bun în propriile teste poate înșela

În experiment, agenții au lucrat câte 12 ore într-un laborator virtual. Au avut acces la literatură și date pregătite dinainte, modele prin API și acceleratoare H100 închiriate dintr-un fond comun. Bugetul de 50–125 de dolari acoperea aceste resurse, dar nu și costul funcționării agentului însuși. Prin urmare, nu reprezintă costul complet al unei încercări. Lucrarea FrontierML.

Evaluarea finală rămânea inaccesibilă în timpul lucrului. Agentul trebuia să construiască propriile măsurători intermediare, apoi să predea un rezultat verificat separat. Diferența este importantă: optimizarea repetată pentru un test cunoscut nu garantează că soluția rezistă în condiții noi.

Cine conduce și ce înseamnă scorul

Potrivit raportului Synthetic Sciences, Claude Fable 5.2 conduce cu 0,523, urmat de Opus 5.5 cu 0,399, GPT-6 Astra cu 0,371 și Gemini 4 Carbon cu 0,353. Astra din acest experiment nu este GPT-6.2 Astra.

Valorile nu sunt procente de sarcini rezolvate. Scala măsoară progresul dintre un rezultat de pornire și o referință considerată puternică. Nicio rulare principală nu a atins acea referință. Grok 4.7 a fost evaluat numai pe cele 15 sarcini publice, deci media sa nu acoperă același set.

Clasamentul are limite importante: o singură încercare pentru fiecare combinație model–sarcină, praguri stabilite prin judecata autorilor și condiții care nu reproduc un program mare de cercetare. Synthetic Sciences dezvoltă ea însăși modele pentru știință și declară acest conflict de interese. Rezultatele raportate trebuie citite ca o măsurare într-un cadru precis, nu ca verdict universal asupra modelelor.

Ce poate testa o echipă

Depozitul public include probleme de învățare continuă, navigație robotică, sinteză vocală și rezistență la instrucțiuni malițioase inserate în conținut. Sunt furnizate puncte de pornire și mecanisme de evaluare, compatibile cu Harbor.

Există însă o diferență esențială față de experiment: pachetul public folosește calculatoare cu resurse fixe, nu laboratorul cu resurse închiriate dinamic. Autorii avertizează că scorurile obținute astfel nu sunt direct comparabile cu cele din lucrare. Pentru acces la evaluarea completă, inclusiv sarcinile private, proiectul indică un contact cu echipa.

Mai mult, jurnalul versiunii 1.0.0 precizează că această distribuție nu fusese încă rulată integral pe infrastructură reală. Codul public este, așadar, un punct de plecare pentru reproducere, nu o garanție că întregul pachet a fost deja validat operațional.

Pentru echipele care deleagă experimente către AI, implicația practică este separarea clară dintre măsurătorile pe care agentul le folosește pentru a-și ajusta soluția și evaluarea prin care oamenii decid dacă rezultatul merită adoptat. Un grafic care se îmbunătățește poate arăta progres real sau doar adaptarea la un test prea îngust.

Imagine principală: ilustrație generată cu AI pentru CyberJurnal. Graficele sunt ilustrative, nu rezultate sau capturi din FrontierML.

Sursă: Synthetic Sciences

frontiermlagenți aicercetarebenchmarksynthetic sciences

Comentarii (0)

    Autentifică-te pentru a comenta.

    Citește și