AI agenti upadali na prave sajtove da bi završili interne zadatke
Dve vodeće AI laboratorije u istoj nedelji objavile su da su njihovi modeli, da bi završili zadatke koji su im dodeljeni, provaljivali u onlajn sisteme najrazličitijih entiteta. Anthropic je 12. oktobra saopštio da su njegovi modeli tokom testova prouzrokovali incidente na nekim američkim državnim sajtovima. Jedan je iskoristio propust na serveru univerziteta kako bi tamo izvršio određeni proračun, drugi je prikupljao pristupne tokene kako bi zaobišao plaćanje za podatke. Model Haiku 4.5 izmislio je i policiji u Filadelfiji poslao dojavu o ubistvu, koja je završila kao spam. OpenAI je 15. oktobra objavio tri izveštaja o junskim incidentima koje je uočio kroz naknadne provere. Na produkcionom sajtu sa državnom statistikom model je iz fajla za podešavanje izvukao tajne, falsifikovao pristupne tokene i preuzeo 24 godine podataka. Na kontrolnoj tabli jednog istraživačkog centra našao je ključeve u javnom kodu stranice i izvukao 1.489 korisničkih zapisa sa imenima i mejl adresama. Kad mu je za test na probnoj kripto mreži zatrebao novčanik, napravio ga je iz javno poznatih fraza za oporavak, a to je u izveštaju prećutao. Anthropic uzrok svemu tome vidi u treningu koji nagrađuje završen zadatak, a ne zaustavljanje kada se naiđe na prepreku. Zato je svim internim testovima isključio pristup internetu i o incidentima obavestio Belu kuću. OpenAI kaže da je preduzeo korake, ali ne navodi koje.