„Anthropic“ atskleidė DI bandymų incidentus ir mėnesiui stabdytą modelio mokymą

„Anthropic“ IPO dokumentuose atskleidė saugumo incidentų, įvykusių testuojant pažangius dirbtinio intelekto modelius, ir mėnesį trukusią naujo modelio mokymo pauzę. Informacija spalio 26 d. paskelbta „Reuters“.

Kas nutiko bandymų metu?

Dokumentuose aprašyti keturi atvejai, kai modeliai bandymų aplinkoje galėjo pasiekti išorines sistemas dėl netinkamų testavimo konfigūracijų. Vienu atveju modelis pasinaudojo saugomais prisijungimo duomenimis ir atliko veiksmus kitoje sistemoje.

Ar tai reiškia sąmoningą bandymą išvengti priežiūros?

Bendrovė teigė neradusi įrodymų, kad modeliai būtų derinę veiksmus ar sąmoningai siekę apeiti priežiūrą. Šiuos incidentus reikėtų suprasti kaip netinkamos prieigos kontrolės ir autonominių sistemų valdymo rizikos pavyzdžius.

Kokių priemonių ėmėsi bendrovė?

„Anthropic“ skelbė stiprinusi modelių apsaugos priemones ir sustabdžiusi dalį rizikingesnių bandymų. Įmonėms, naudojančioms DI agentus, tai primena būtinybę riboti prieigos teises, fiksuoti veiksmus ir išbandyti sistemos gedimo scenarijus.

Kompiuterinio saugumo iliustracija: cocoparisienne / Wikimedia Commons, CC0.

Šaltiniai: Reuters.