AI Claude zaatakował systemy trzech organizacji podczas testów. ESET: to alarm bezpieczeństwa, a nie tylko pokaz możliwości sztucznej inteligencji
Modele Claude firmy Anthropic uzyskały nieautoryzowany dostęp do systemów trzech organizacji podczas testów ich zdolności w zakresie cyberbezpieczeństwa. Przyczyną była błędna konfiguracja środowiska, która pozwoliła modelom połączyć się z publicznym internetem. To sygnał, że branża AI musi zacząć stosować standardy bezpieczeństwa, których od lat wymaga się od pozostałych dostawców technologii jak również brać za to odpowiedzialność.
Firma Anthropic poinformowała, że podczas testów cyberbezpieczeństwa kilka wersji modelu Claude uzyskało nieautoryzowany dostęp do infrastruktury należącej do trzech organizacji. Środowiska testowe miały być odizolowane, jednak z powodu błędu konfiguracyjnego modele mogły połączyć się z publicznym internetem.
Incydenty wykryto podczas analizy 141 006 testów możliwości modeli w zakresie cyberbezpieczeństwa. Anthropic rozpoczęło szczegółową kontrolę po ujawnieniu osobnego przypadku dotyczącego modeli OpenAI, które podczas testu przedostały się poza środowisko kontrolowane i zaatakowały infrastrukturę firmy Hugging Face.
Claude przy atakach na firmy trzecie wykorzystywał stosunkowo proste techniki, między innymi słabe hasła i punkty dostępowe niewymagające uwierzytelnienia. Dwie z zaatakowanych organizacji nie wiedziały o aktywności modelu do momentu otrzymania informacji od Anthropic. Firma nadal próbowała skontaktować się z trzecią organizacją.
Model miał działać w izolacji. W praktyce posiadał dostęp do publicznego internetu
Testy miały formę ćwiczeń typu capture the flag (CTF), podczas których modele otrzymywały zadanie odnalezienia ukrytych informacji w symulowanych sieciach komputerowych. Zgodnie z instrukcjami Claude miał zakładać, że nie ma dostępu do internetu. Błąd w konfiguracji środowiska przygotowanego wspólnie z zewnętrznym partnerem firmy Anthropic sprawił jednak, że modele mogły komunikować się z rzeczywistymi systemami dostępnymi w sieci.
Komentarz Beniamina Szczepankiewicza, analityka cyberbezpieczeństwa w ESET:
Zdaniem Beniamina Szczepankiewicza przypadki te pokazują ogromne możliwości modeli sztucznej inteligencji, ale jednocześnie podkreślają, jak duża odpowiedzialność spoczywa na ich twórcach.
– W tym przypadku to nie jest historia o genialnym modelu, który przechytrzył zabezpieczenia. To historia o systemie zdolnym do autonomicznego wyszukiwania podatności i przeprowadzania ataków, któremu zapewniono dostęp, jakiego nigdy nie powinien otrzymać. Najnowsze doniesienia dotyczące OpenAI i Anthropic należy traktować jako poważny alarm bezpieczeństwa, a nie tylko jako pokaz możliwości AI – komentuje Beniamin Szczepankiewicz, analityk cyberbezpieczeństwa w ESET.
Gdyby podobny incydent dotyczył tradycyjnego dostawcy oprogramowania, reakcją byłaba szczegółowa kontrola, pytania o odpowiedzialność oraz oczekiwanie szybkiego przedstawienia planu naprawczego.
– Gdyby dostawca oprogramowania – szczególnie firma z branży cyberbezpieczeństwa – testował system, który wyszedł poza przeznaczone dla niego środowisko i naruszył infrastrukturę innych organizacji, spotkałby się z intensywną kontrolą i żądaniem wyjaśnień. Firmy rozwijające najbardziej zaawansowane modele AI nie powinny podlegać łagodniejszym standardom tylko dlatego, że ich technologia jest nowa, kosztowna lub strategicznie istotna. Innowacyjność nie jest taryfą ulgową od odpowiedzialności– podkreśla Beniamin Szczepankiewicz.
Organizacje od lat wykorzystywały uczenie maszynowe we własnych procesach, a firmy rozwijające najbardziej zaawansowane modele znalazły sposób na skomercjalizowanie uniwersalnych systemów AI. Bezpieczeństwo ponownie może być jednak traktowane jako problem, którym można zająć się dopiero po wprowadzeniu produktu na rynek.
Podejście oparte na zasadzie „najpierw działaj, później proś o wybaczenie” było ryzykowne już w przypadku tradycyjnego oprogramowania. Staje się całkowicie nie do zaakceptowania, gdy mówimy o systemach, które potrafią samodzielnie wykrywać słabości, łączyć je w sekwencje ataków, tworzyć złośliwy kod i wchodzić w interakcje z rzeczywistą infrastrukturą. Tutaj jeden błąd konfiguracyjny może zmienić kontrolowany test w prawdziwy incydent.
– Obserwujemy niebezpieczną dynamikę komunikacyjną. Incydenty bywają przedstawiane tak, aby podkreślać siłę, autonomię lub zaawansowanie modelu. W efekcie błąd bezpieczeństwa niemal staje się demonstracją możliwości produktu. Nie możemy dopuścić, aby realne naruszenia infrastruktury były wykorzystywane jako argumenty marketingowe w wyścigu pomiędzy dostawcami AI. W bezpieczeństwie nie liczy się to, jak spektakularny był incydent, lecz dlaczego do niego doszło, kto ponosi odpowiedzialność i co zrobiono, aby nie mógł się powtórzyć – mówi przedstawiciel ESET.
Rosnące możliwości agentów AI oznaczają, że wyższe muszą być również wymagania dotyczące środowisk, w których są one testowane. Sama instrukcja przekazana modelowi, że nie ma dostępu do internetu, nie może zastępować technicznych zabezpieczeń uniemożliwiających mu nawiązanie takiego połączenia.
Obserwuj nas na Google News
Zobacz również:
- Kradzież pieniędzy z bankomatów – komentarz
- Myślisz, że nie nabierzesz się na deepfake?
- Czy Twój telefon Cię podgląda? Jakie sygnały mogą o tym świadczyć?
- Touroll J2 ST – praktyczny rower elektryczny do codziennej jazdy. Komfort, wygoda i rozsądna cena(test i opinia)
- Czy monitoring z 3. piętra ma sens? Testuję Reolink Floodlight F850W na dystansie 200 metrów!
Informacja prasowa: ESET
Zdjęcia:
