AI zaczęła uciekać. NVIDIA właśnie zbudowała dla niej klatkę

Nvidia zaprezentowała platformę Open Agent Safety Platform, która umożliwia monitorowanie i powstrzymywanie autonomicznych agentów AI w czasie rzeczywistym. System wykorzystuje OpenShell w celu ograniczenia dostępu agentów do plików, sieci, aplikacji i innych zasobów, a Nvidia Sentry może poddać agentów AI kwarantannie, gdy naruszą zdefiniowane reguły lub zachowają się w sposób nieoczekiwany.

W odpowiedzi na ostatnią falę ataków nieuczciwych agentów AI siejących spustoszenie w internecie, firma Nvidia zaprezentowała własną platformę Open Agent Safety Platform, dwuwarstwowy system zabezpieczeń zaprojektowany w celu kontrolowania i powstrzymywania takiej aktywności. Dziełanie to jest następstwem serii incydentów, w których agenci AI uciekali ze środowisk, które miały ich powstrzymać, w tym naruszenia bezpieczeństwa Hugging Face w lipcu, obejmującego modele OpenAI.

Nvidia chce mieć agentów AI na krótkiej smyczy

Nowa platforma firmy Nvidia łączy w sobie dwa narzędzia zabezpieczające typu open source: OpenShell i Nvidia Sentry, które według Nvidii mogą monitorować agentów AI w czasie rzeczywistym i interweniować, gdy ich zachowanie wykracza poza zdefiniowane wcześniej reguły.

Szef działu Enterprise AI w firmie Nvidia, Justin Boitano, spekulował: „Z tego, co wiemy, ta nowa platforma bezpieczeństwa mogłaby zapobiec naruszeniu bezpieczeństwa (Hugging Face)”.

Agenci AI są teraz w stanie pracować coraz bardziej autonomicznie, przeglądając strony internetowe, wykonując kod, uzyskując dostęp do plików i wchodząc w interakcje z usługami zewnętrznymi w imieniu użytkownika. Dzięki temu przewidywanie i kontrolowanie ich zachowań staje się trudniejsze.

W zeszłym tygodniu ujawniono, że agent OpenAI włamał się do działu statystyk australijskiego portalu zdrowotnego Medicare. Eksperci alarmują, że jeśli ta tendencja się utrzyma, cyberbezpieczeństwo może stanąć w obliczu kryzysu. Jest to zgodne z twierdzeniem dyrektora generalnego Jensena Huanga, że ​​bezpieczeństwo sztucznej inteligencji to szansa dla inżynierii, a nie moment na panikę i wstrzymanie rozwoju sztucznej inteligencji, jak to zrobiło OpenAI.

Druga warstwa może odciąć agenta od reszty systemu

Pierwsza warstwa ochrony nazywa się OpenShell i została zaprezentowana przez firmę w marcu. Ma ona działać jak zestaw zabezpieczeń wokół agenta AI, ograniczając jego dostęp do zasobów takich jak pliki, sieci, aplikacje i inne systemy. Druga warstwa, o nazwie Sentry, poddaje kwarantannie niesfornego agenta AI. Ta podwójna warstwa ochrony ma na celu monitorowanie i powstrzymywanie go w czasie rzeczywistym.

Moment ten zbiega się z decyzją firmy Nvidia o przejęciu firmy Hugging Face za kwotę około 13 miliardów dolarów, co pozwoliło producentowi układów scalonych znaleźć się w czołówce podmiotów zapewniających ochronę po naruszeniu bezpieczeństwa.