Përmbledhje:
- Gemini duhej të testohej mbi kompani imagjinare, por lidhja e paqëllimshme me internetin e çoi të depërtonte në sistemet e tri bizneseve reale.
- Sipas Google, modeli ndaloi kur kuptoi gabimin dhe nuk shkaktoi dëme, por ndërkohë hyrjet e paautorizuara kishin ndodhur.
- Rasti tregon se siguria e AI-së varet edhe nga kufizimet teknike të aksesit, jo vetëm nga aftësia e modelit për të dalluar çfarë lejohet.
Një provë për të vlerësuar aftësitë e Gemini në sigurinë kibernetike përfundoi jashtë kufijve të parashikuar. Modeli i Google hyri në sistemet e tri kompanive reale, duke i trajtuar si pjesë të testimit.
Ngjarjet ndodhën në maj gjatë vlerësimeve të kompanisë së pavarur Irregular. Google i konfirmoi pas raportimit të The Wall Street Journal, ndërsa Reuters raportoi se kompanitë e prekura ishin njoftuar dhe procedurat e testimit ishin ndryshuar.
Problemi nisi kur mjedisi i simulimit kishte pa dashje akses në internet. Një objektiv imagjinar kishte të njëjtin emër me një biznes real. Gemini gjeti biznesin, hamendësoi fjalëkalimin dhe hyri në sistemin e tij. Në dy rastet e tjera, përdori kredenciale të gjetura në depo publike kodi. Sipas Google, modeli i ndërpreu veprimet kur kuptoi se po ndërhynte në kompani reale. Këto hollësi u raportuan nga The Wall Street Journal.
Google tha se nuk pati dëme dhe e përdori këtë si argument për të mos e bërë fillimisht publik incidentin, sipas The Guardian.
Megjithatë, ndalimi pas identifikimit të gabimit dhe parandalimi i hyrjes janë dy nivele të ndryshme mbrojtjeje. Në rastin e parë, sistemi reagon pasi kufiri është kaluar. Në të dytin, infrastruktura ia pamundëson kalimin që në fillim.
Ky dallim ka rëndësi për mënyrën si testohen agjentët e AI-së. Kur një model mund të përdorë mjete dhe të kryejë veprime, një keqinterpretim i detyrës mund të prekë sisteme të jashtme. Prandaj udhëzimet duhet të shoqërohen me kufizime të aksesit, autorizime të përcaktuara dhe mbikëqyrje.
Pyetja që mbetet nga ky rast është sa mbrojtje duhet të ekzistojnë përpara veprimit, që siguria të mos varet nga momenti kur modeli kupton se ka gabuar.
