Modelul Gemini al Google a accesat fără autorizație sisteme informatice externe în timpul unui test de evaluare, după ce a dedus date de autentificare din informații publice. Într-unul dintre cazuri, inteligența artificială a încercat mai multe combinații de parole și a reușit să treacă de protecția unui sistem.
Incidentul s-a produs în luna mai, când Google verifica nivelul de capabilitate al modelului. Potrivit explicațiilor oferite de Heather Adkins, responsabilă pentru securitate în cadrul companiei, Gemini a considerat în mod greșit că platformele accesate făceau parte din infrastructura inclusă în test.
Google a identificat trei cazuri
Ancheta internă a arătat că modelul a ajuns la sisteme aparținând a trei organizații diferite. Gemini a folosit date disponibile pe internet pentru a deduce informații de autentificare, apoi a interacționat cu platformele externe fără ca acest lucru să fi fost solicitat în mod explicit.
Google a descoperit breșele în luna iulie și a început o investigație detaliată. Compania a notificat organizațiile afectate, însă nu a dezvăluit identitatea acestora.
În toate cele trei situații, accesările s-au încheiat automat. Reprezentanții Google au precizat că nu a fost nevoie de intervenția directă a unei persoane pentru oprirea modelului sau deconectarea acestuia.
Îngrijorări privind autonomia AI
Cazul readuce în atenție riscul ca modelele capabile să acționeze autonom să depășească limitele mediilor de testare izolate, cunoscute drept „sandbox”. Interacțiunea directă cu infrastructura web externă complică verificarea acțiunilor realizate de aceste sisteme și controlul asupra lor.
Lideri din industria tehnologică și cercetători în securitate cibernetică au cerut în mod repetat încetinirea dezvoltării unor astfel de modele și introducerea unor reguli stricte pentru antrenarea lor. Google a transmis că incidentul Gemini evidențiază nevoia unor protocoale de siguranță riguroase, astfel încât modelele AI să opereze responsabil și numai în limitele stabilite.