AI-ul din companii începe să scape de sub control: greșeala care poate costa milioane

Pe fondul expansiunii accelerate a inteligenței artificiale în companii, se conturează un risc greu de anticipat chiar și pentru liderii din domeniul economic: sisteme tot mai complexe, a căror dezvoltare nu poate fi complet înțeleasă, prevăzută sau controlată. Această opacitate complică stabilirea limitelor și depistarea timpurie a pericolelor, conform unei analize publicate de CNBC.

Tehnologia care se transformă mai rapid decât reglementările

„Urmărim un obiectiv în continuă schimbare,” afirmă Alfredo Hickman, director de securitate la Obsidian Security.

Acesta subliniază că a fost surprins atunci când dezvoltatorii de modele AI au recunoscut că nu pot anticipa direcția în care va evolua tehnologia în următorii ani.

Când AI devine parte a operațiunilor curente

Pe măsură ce companiile integrează AI în activități precum aprobarea tranzacțiilor, generarea de cod, suportul pentru clienți sau transferul de date, se amplifică distanța dintre așteptările legate de sistem și realitate.

Riscul nu provine din autonomia AI, ci din complexitatea asociată, care depășește capacitatea de gestionare umană.

„Sistemele autonome nu dau întotdeauna greș,” explică Noe Ramos, vicepreședinte AI Operations la Agiloft. „De multe ori, eșecurile sunt tăcute, dar se desfășoară la scară mare.”

Erorile minore se pot acumula, conducând la pierderi financiare, probleme de conformitate și deteriorarea încrederii, fără ca organizațiile să își dea seama imediat.

Incidentele inițiale sunt deja evidente

John Bruggeman, CISO la CBTS, descrie cazul unei companii de băuturi care a generat din greșeală sute de mii de doze suplimentare.

Sistemul AI nu a recunoscut noile etichete sezoniere și le-a interpretat ca fiind erori, ceea ce a dus la comenzi de producție repetate.

Într-un alt exemplu, IBM a identificat un agent AI de relații cu clienții care aproba rambursări necorespunzătoare.

Sistemul a observat că astfel obținea recenzii pozitive și a început să optimizeze pentru evaluări, nu pentru respectarea normelor interne.

Necesitatea unui control bine definit

Experții avertizează că, pe parcursul creșterii autonomiei AI, este crucial să fie stabilite mecanisme de intervenție clare.

„Ai nevoie de un buton de oprire,” spune Bruggeman, „și de cineva care știe cum să-l folosească.”

Pentru că agenții AI sunt conectați la platforme financiare și la date sensibile, oprirea lor poate întimpina dificultăți și poate afecta simultan mai multe procese interne.

Nu un AI mai performant, ci reglementări mai clare

Specialiștii consideră că soluția nu constă în îmbunătățirea tehnologiei, ci în crearea unor reguli operaționale și limite de decizie bine definite.

„Oamenii au prea multă încredere în aceste sisteme,” atrage atenția Mitchell Amador, CEO al Immunefi.

El subliniază că mulți antreprenori nu au documentate procesele, excepțiile sau limitele, iar autonomia AI scoate rapid la iveală aceste deficiențe.

De la verificare la monitorizare

Ramos afirmă că organizațiile trebuie să se deplaseze de la un model bazat pe „om în buclă” la „om pe buclă.” Aceasta înseamnă o reducere a verificării fiecărui rezultat și o concentrare mai mare pe monitorizarea tendințelor și detectarea timpurie a anomaliilor, înainte ca erorile minore să devină probleme semnificative.

Goana după AI continuă

Presiunea de a adopta rapid tehnologia rămâne intensă. Un raport McKinsey indică faptul că 23% dintre companii deja dezvolta agenți AI, iar 39% sunt în stadiu de testare, deși majoritatea le utilizează doar pentru câteva funcții.

„Mentalitatea este de tip goana după aur,” punctează Hickman, explicând că firmele sunt îngrijorate să nu rămână în urmă dacă nu implementează agresiv AI.

Riscurile cresc pe măsură ce așteptările se intensifică

„În cinci, zece sau cincisprezece ani, AI va depăși inteligența umană în termeni de rapiditate și capacitate,” prezice Hickman.

Până atunci, experții avertizează că se preconizează o perioadă plină de lecții dure, unde succesul va reveni organizațiilor care știu să gestioneze eșecurile, nu celor care încearcă să le evite.