CyberJurnal

Știri · Analize · Securitate cibernetică

Anthropic avertizează investitorii: inteligența artificială ar putea scăpa de sub control

În documentele depuse pentru o posibilă listare la bursă, Anthropic avertizează asupra riscurilor AI autonome, a utilizării modelelor pentru arme și atacuri cibernetice, dar și a costurilor de calcul și dependenței de câțiva clienți. Dosarul descrie scenarii posibile, nu incidente concrete.

Oprican Marius Edward8 min citire
Distribuie
Anthropic avertizează investitorii: inteligența artificială ar putea scăpa de sub control
Sursă foto: www.securityweek.com

Anthropic a inclus în documentele depuse luni la Comisia pentru Valori Mobiliare și Burse din SUA (SEC), în perspectiva unei posibile listări, avertismente neobișnuit de ample: modelele sale ar putea fi folosite pentru activități criminale, iar sistemele AI tot mai autonome ar putea acționa dăunător, la scară mare și fără intervenție umană. Dosarul nu anunță un incident concret, ci descrie riscuri care ar putea afecta compania și investitorii.

Documentul are 335 de pagini despre finanțe, remunerația conducerii și politica de dividende, însă 93 sunt consacrate factorilor de risc. Pentru comparație, documentația concurentei SpaceX alocă acestei categorii 38 de pagini dintr-un dosar de peste 250 de pagini.

Diferența indică amploarea avertismentelor Anthropic, nu o măsurătoare independentă a probabilității ca fiecare scenariu să se producă.

Dosarul de bursă descrie atât riscuri comerciale, cât și riscuri pentru societate

În scrisoarea adresată potențialilor acționari, fondatorii companiei afirmă că dezvoltarea inteligenței artificiale înseamnă „valorificarea cogniției înseși” și că o tehnologie atât de puternică poate fi folosită atât în scopuri bune, cât și în scopuri nocive. Ei prezintă Anthropic drept o organizație ghidată de valori, înființată, în parte, pentru a ajuta lumea să obțină beneficiile AI și să-i evite pericolele.

Această formulare este și o poziționare comercială. Compania își prezintă preocuparea pentru siguranță drept parte a valorii oferite clienților și investitorilor, în timp ce documentul enumeră amenințări care pot afecta direct afacerea: incidente de siguranță, intervenții de reglementare, prejudicii de reputație și dificultăți în păstrarea personalului-cheie.

Printre riscurile menționate se află și atacurile cibernetice, dezinformarea periculoasă și blocajele de reglementare. Ele nu sunt toate de aceeași natură: unele țin de conduita utilizatorilor, altele de evoluția tehnologiei, de deciziile autorităților sau de capacitatea Anthropic de a-și susține operațiunile.

E importantă această distincție: un factor de risc dintr-un dosar de ofertă publică nu este o predicție că scenariul se va întâmpla și nici dovada că s-a produs deja. Este o avertizare formală despre evenimente posibile care ar putea avea efecte materiale asupra companiei, inclusiv asupra activității și perspectivelor sale financiare.

Modele mai capabile ar putea depăși ritmul măsurilor de siguranță

Anthropic avertizează că modelele sale s-ar putea dezvolta atât de repede, încât compania să nu mai reușească să implementeze măsuri de siguranță adecvate. Într-un asemenea caz, susține dosarul, ar putea crește probabilitatea incidentelor, a intervenției autorităților de reglementare și a prejudiciilor de reputație, cu efecte negative asupra afacerii.

Directorul general Dario Amodei a avertizat în septembrie că, în următoarele șase până la 12 luni, AI ar putea deveni capabilă să coordoneze un roi de agenți care să preia întregul internet. Este o declarație despre o posibilitate viitoare, nu confirmarea că există deja un sistem cu această capacitate sau că un astfel de scenariu este inevitabil.

În dosarul către SEC, compania leagă riscul de creșterea autonomiei și a capacității sistemelor de a lua decizii cu consecințe, cu mai puțină supraveghere umană. Anthropic spune că asemenea sisteme ar putea întreprinde, independent și la scară largă, acțiuni dăunătoare, fără intervenția unei persoane.

Avertismentul nu se limitează la modelele proprii. Un incident grav de siguranță implicând orice sistem AI de frontieră ar putea, potrivit companiei, afecta reputația întregii industrii, provoca reacții negative din partea publicului și declanșa măsuri de reglementare ample, cu consecințe pentru activitatea Anthropic chiar dacă modelele sale nu ar fi cauza incidentului.

Centre de date și infrastructură de calcul folosite pentru dezvoltarea inteligenței artificiale

Sursă foto: www.securityweek.com

O altă complicație este că modelele AI contribuie deja la cercetarea și dezvoltarea Anthropic. Compania admite că progresul ar putea ajunge într-un punct în care să depășească abilitatea sa de a evalua și proteja modelele noi.

Altfel spus, instrumentele folosite pentru accelerarea dezvoltării ar putea face mai dificilă verificarea sistematică a rezultatelor.

Utilizarea abuzivă nu se oprește la generarea de conținut

Anthropic avertizează că sistemele AI avansate, dezvoltate ori operate fără măsuri de protecție și supraveghere suficiente, ar putea prezenta riscuri catastrofale sau existențiale pentru omenire. Scenariile invocate includ folosirea abuzivă, replicarea, transformarea în arme sau funcționarea cu un grad ridicat de autonomie.

Compania spune că ar putea fi afectată dacă actori rău-intenționați provoacă daune folosind modelele sale ori dacă mecanismele de protecție — inclusiv regulile și barierele integrate în modele — nu reușesc să împiedice utilizarea abuzivă. Aceste mecanisme pot reduce riscul, dar avertismentul arată că Anthropic nu le prezintă drept garanții infailibile.

Printre exemplele din document se numără folosirea modelelor pentru construirea unor arme chimice și recurgerea unor conducători autoritari la AI pentru reprimarea propriilor cetățeni. Miza depășește astfel securitatea informatică în sens restrâns: accesul la capabilități AI poate susține activități de supraveghere, coerciție sau dezvoltare de arme, în funcție de utilizator și de controalele disponibile.

În septembrie, Anthropic a declarat că a blocat încercări de a-i folosi modelele pentru activități rău-intenționate, între care atacuri cibernetice, supraveghere și cercetări care ar fi putut contribui la dezvoltarea unei arme biologice. Materialul nu oferă aici detalii despre cazuri, metode sau numărul tentativelor, astfel că afirmația trebuie atribuită companiei, fără a adăuga concluzii tehnice pe care sursa nu le susține.

Riscul practic pentru operatori este că un model poate deveni o componentă într-un lanț de activități periculoase, chiar dacă nu execută singur întregul atac. În cazul utilizării în companii, controlul accesului, jurnalizarea interacțiunilor și verificarea acțiunilor cu impact ridicat sunt elemente distincte de filtrele de conținut și nu pot fi înlocuite de acestea.

Capacitatea de calcul, centrele de date și clienții mari rămân puncte vulnerabile

Anthropic descrie capacitatea de calcul — resursele necesare pentru antrenarea, testarea și îmbunătățirea modelelor — drept costisitoare și foarte solicitată. Dacă nu obține suficiente resurse sau nu le repartizează eficient între sarcinile sale, compania spune că ar putea să nu mai poată antrena modele competitive ori să-și deservească adecvat clienții.

Construirea centrelor de date aduce un alt tip de expunere. Anthropic menționează controverse publice și atenție din partea autorităților privind impactul asupra mediului, utilizarea terenului și a apei, precum și distribuirea resurselor limitate de energie electrică.

Compania avertizează că noi cerințe sau taxe impuse ca urmare a acestor preocupări i-ar putea afecta capacitatea de a face afaceri. Este un risc economic și operațional: infrastructura necesară pentru extinderea AI depinde de autorizații, energie, apă și acceptare locală, nu doar de disponibilitatea procesoarelor și a finanțării.

Dosarul mai indică dependența de un număr mic de clienți și canale de distribuție pentru o parte importantă a veniturilor. Printre clienții menționați se numără SpaceX și Microsoft.

Dacă unul dintre clienții mari își reduce colaborarea sau renunță la ea, Anthropic spune că perspectivele și situația sa financiară ar putea avea de suferit.

Această concentrare transformă relațiile comerciale într-un risc strategic, separat de riscurile de siguranță ale modelelor. O companie care depinde de puțini parteneri poate fi vulnerabilă la schimbarea priorităților acestora, în timp ce accesul la infrastructură și distribuție poate influența capacitatea de a concura și de a-și servi utilizatorii.

Ce ar trebui să urmărească organizațiile din România și Uniunea Europeană

Pentru companiile și instituțiile din România, dosarul Anthropic nu anunță o amenințare imediată la adresa sistemelor locale. El oferă însă un inventar util al riscurilor pe care orice organizație ar trebui să le examineze înainte de a integra un model AI în procese sensibile: utilizare neautorizată, rezultate dăunătoare, dependență de furnizor, întreruperea serviciului și schimbarea condițiilor de acces.

Echipele de achiziții și securitate ar trebui să ceară furnizorilor informații despre limitele modelelor, măsurile de protecție, notificarea incidentelor, păstrarea și utilizarea datelor, precum și condițiile de continuitate a serviciului. Evaluarea nu se poate opri la promisiunea că un produs este sigur: contează ce permisiuni primește, la ce date are acces și ce acțiuni poate efectua fără aprobarea unui angajat.

În infrastructuri critice și în administrație, utilizarea AI pentru sarcini cu consecințe importante ar trebui să includă supraveghere umană reală, separarea privilegiilor și mecanisme de oprire sau retragere a accesului. Jurnalele de activitate și testarea periodică pot ajuta la identificarea utilizării neobișnuite, dar trebuie stabilite responsabilități clare pentru investigarea alertelor și limitarea efectelor unui incident.

Instituțiile și companiile europene trebuie, de asemenea, să evalueze conformitatea cu obligațiile aplicabile privind protecția datelor și guvernanța sistemelor AI, în funcție de utilizarea concretă. Avertismentele Anthropic nu înlocuiesc o analiză juridică și tehnică proprie: clasificarea riscului, rolul organizației și datele procesate pot schimba măsurile care se impun.

Pentru utilizatori, regula de bază rămâne să nu introducă în instrumente AI publice date confidențiale, parole sau informații personale fără aprobarea organizației și fără să înțeleagă cum sunt prelucrate. În mediul profesional, politicile interne trebuie să indice ce instrumente sunt permise, ce date pot fi folosite și când răspunsurile generate necesită verificare umană.

Anthropic afirmă că firmele de AI de frontieră trebuie să investească în siguranță și aliniere pentru a susține o răspândire responsabilă a tehnologiei. Mesajul este în același timp o promisiune de principiu și o recunoaștere a unei probleme persistente: măsurile de protecție trebuie să țină pasul cu progresul tehnic, în timp ce companiile își extind modelele și caută noi piețe.

Brian Mulberry, strateg-șef de piață la Zacks Investment Research, a spus că documentele unei oferte publice trebuie să explice foarte clar riscurile asumate de cei care investesc. El a descris transparența impusă companiilor listate pe o bursă din SUA drept un element important al piețelor de capital, pentru ca publicul să înțeleagă ce finanțează cu banii săi.

Rămâne, așadar, o diferență esențială între avertisment și certitudine. Dosarul nu demonstrează că AI va scăpa de sub control, dar consemnează că Anthropic consideră suficient de plauzibile riscurile tehnologice, comerciale și sociale încât să le explice explicit celor care ar putea cumpăra acțiuni — și, implicit, să le recunoască drept provocări pentru propria strategie.

Sursă: SecurityWeek

anthropicinteligență artificialăsecuritate airiscuri ciberneticereglementare ue

Comentarii (0)

    Autentifică-te pentru a comenta.

    Citește și