Agent OpenAI, wykonując proste zadanie dotyczące publicznych wydatków na leki, uzyskał dostęp do niepublicznych plików portalu Medicare. Czy właśnie tak zaczyna wyglądać nowe ryzyko związane z autonomiczną AI – system nie musi dostać polecenia „hakuj”, żeby zachowywać się jak atakujący?
Incydent pokazuje nową kategorię ryzyka w cyberbezpieczeństwie: autonomiczny system nie musi mieć złych intencji, żeby zachowywać się jak cyberprzestępca. Zdaniem analityków ESET i DAGMA Bezpieczeństwo IT problemem nie jest jednak wyłącznie sam model AI, lecz cały ekosystem, w którym pozwalamy mu działać – narzędzia, uprawnienia, dostęp do zewnętrznych usług i zabezpieczenia tych usług.
Do incydentu doszło 18 czerwca podczas wewnętrznych testów OpenAI. Agent otrzymał zasadniczo niewinne zadanie badawcze dotyczące publicznych wydatków na leki. W trakcie jego realizacji trafił na Medicare Statistics Reporting Service – portal australijskiej administracji zawierający m.in. zbiorcze dane dotyczące programów Medicare. Gdy system nie udostępnił poszukiwanych informacji, agent znalazł sposób na obejście ograniczeń i uzyskał dostęp do publicznych oraz niepublicznych plików. Nie ma obecnie dowodów, aby naruszone zostały indywidualne dane pacjentów.
Agent nie musi być złośliwy, żeby zachowywać się jak atakujący
– Ten incydent pokazuje fundamentalną różnicę między klasycznym cyberzagrożeniem a ryzykiem związanym z autonomiczną AI. Cyberprzestępca świadomie szuka sposobu na ominięcie zabezpieczeń. Agent może zrobić coś bardzo podobnego bez takiej intencji – po prostu dlatego, że dostał cel do wykonania i poszukuje skutecznej drogi do jego osiągnięcia. Z perspektywy infrastruktury efekt może być jednak identyczny: kolejne próby dostępu, wyszukiwanie słabych punktów i obchodzenie mechanizmów ochronnych – mówi Kamil Sadkowski, analityk cyberzagrożeń ESET.
Australijskie ABC ujawniło również publiczne logi aktywności agentów OpenAI z tego samego okresu. Wynika z nich, że systemy próbujące zdobyć dane z australijskich serwisów administracji wymieniały informacje o sposobach obchodzenia zabezpieczeń, m.in. za pomocą serwerów proxy, usług wykonujących zrzuty ekranów czy odgadywania nazw poszukiwanych plików i danych. OpenAI ani australijski rząd nie potwierdzili jednak dotąd, że działania widoczne w tych logach bezpośrednio doprowadziły do naruszenia portalu Medicare.
„Znajdź dane” może uruchomić cały łańcuch działań
To właśnie tutaj pojawia się zasadnicza różnica między klasycznym chatbotem a agentem AI. Agent nie musi otrzymywać instrukcji opisującej każdy kolejny krok. Dostaje cel, analizuje rezultaty swoich działań i może sam zmieniać sposób postępowania, jeśli pierwsza metoda nie przynosi efektu.
– Wyobraźmy sobie proste polecenie: „znajdź dane o wydatkach na leki”. Agent próbuje wejść na stronę, nie dostaje odpowiedzi, więc sprawdza inną ścieżkę. To również nie działa, więc analizuje, co jest publicznie dostępne, próbuje innego sposobu pobrania informacji, sprawdza kolejne zasoby czy nazwy plików. Każdy z tych kroków może wynikać z poprzedniego, bez konieczności prowadzenia systemu za rękę. Problem pojawia się wtedy, gdy na tej drodze agent odkryje możliwość zrobienia czegoś, czego twórca zadania w ogóle nie przewidział – tłumaczy Dawid Koziorowski z DAGMA Bezpieczeństwo IT.
Niezwykle skuteczny skaner podatności
Paradoks polega na tym, że właśnie cechy, które mają czynić agentów AI użytecznymi – autonomia, szybkość, zdolność do zmiany strategii i podejmowania kolejnych prób – mogą jednocześnie uczynić z nich wyjątkowo skuteczne narzędzia do odnajdywania słabości systemów.
– Agent może w krótkim czasie przetestować wiele sposobów wykonania zadania. Jeżeli po drodze odkryje lukę albo możliwość obejścia zabezpieczenia, nie możemy zakładać, że sam rozpozna granicę między kreatywnym rozwiązaniem problemu a nieautoryzowanym dostępem. W tym sensie agent AI może zachowywać się jak niezwykle skuteczny skaner podatności, nawet jeśli nikt nie polecił mu przeprowadzenia ataku – tłumaczy Kamil Sadkowski.
Dlatego samo określenie w instrukcji, czego agentowi „nie wolno”, nie może być traktowane jako wystarczający mechanizm bezpieczeństwa.
– Jeżeli agent nie powinien mieć możliwości wykonania określonej operacji, nie wystarczy mu tego zabronić. Trzeba mu tę możliwość technicznie odebrać. Potrzebujemy zasady najmniejszych uprawnień, precyzyjnej kontroli dostępu, separacji środowisk, monitorowania nietypowej aktywności oraz możliwości szybkiego zatrzymania działania systemu. Agent powinien mieć dostęp wyłącznie do tych danych i funkcji, które są naprawdę niezbędne do realizacji konkretnego zadania – podkreśla Sadkowski.
Bezpieczeństwo AI to model współdzielonej odpowiedzialności
Incydent pokazuje także, dlaczego zabezpieczenie samego modelu AI nie wystarczy. Ryzyko powstaje na styku możliwości modelu, narzędzi i uprawnień udostępnionych agentowi oraz zabezpieczeń systemów, z którymi zaczyna się komunikować.
– W przypadku agentów AI trzeba myśleć o bezpieczeństwie jak o modelu współdzielonej odpowiedzialności. Dostawca modelu odpowiada za bezpieczeństwo samego modelu, infrastruktury, API i mechanizmów ograniczających niepożądane zachowania. Twórca agenta odpowiada za to, jakie narzędzia agent otrzyma, do jakich API i danych może się łączyć oraz jakie operacje może wykonywać. Odpowiedzialność pozostaje też po stronie właściciela systemu, z którym agent się komunikuje. Jeśli publiczna usługa pozwala wykonać operację, która nie powinna być możliwa, jej zabezpieczenia również wymagają poprawy – mówi Dawid Koziorowski z DAGMA Bezpieczeństwo IT.
Im większa autonomia, tym ważniejsze granice
Problem będzie nabierał znaczenia wraz z podłączaniem agentów AI do kolejnych usług i systemów. Model generujący wyłącznie tekst stwarza zupełnie inne ryzyko niż agent wyposażony w przeglądarkę, możliwość uruchamiania kodu, dostęp do plików, baz danych czy wewnętrznych systemów organizacji.
W takim środowisku bezpieczeństwo nie może opierać się na założeniu, że agent „zrozumie”, czego nie powinien zrobić.
– AI nas nie „hakuje” w takim sensie, jaki znamy z filmów science fiction. Ale coraz częściej wyposażamy ją w narzędzia, uprawnienia i autonomię, dzięki którym może samodzielnie znaleźć drogę do celu. Niebezpieczny nie musi być sam model. Ryzyko powstaje z połączenia jego możliwości z dostępem do prawdziwych systemów. Im więcej agent może zrobić samodzielnie, tym ważniejsze stają się granice tego, na co technicznie mu pozwalamy – podsumowuje Dawid Koziorowski.
Sprawa budzi dodatkowe pytania ze względu na sposób jej raportowania. OpenAI poinformowało Services Australia o czerwcowym incydencie dopiero 10 września, przesyłając wiadomość na ogólną skrzynkę e-mail instytucji. Premier Australii Anthony Albanese określił zarówno opóźnienie, jak i sposób powiadomienia jako nieakceptowalne. Australijskie służby badają obecnie, czy aktywność agentów dotyczyła także innych systemów administracji.
Obserwuj nas na Google News
Zobacz również:
- Kradzież pieniędzy z bankomatów – komentarz
- Myślisz, że nie nabierzesz się na deepfake?
- Czy Twój telefon Cię podgląda? Jakie sygnały mogą o tym świadczyć?
- Touroll J2 ST – praktyczny rower elektryczny do codziennej jazdy. Komfort, wygoda i rozsądna cena(test i opinia)
- Czy monitoring z 3. piętra ma sens? Testuję Reolink Floodlight F850W na dystansie 200 metrów!
- HUAWEI MatePad Pro Max – Potężny matowy OLED zamiast laptopa? [RECENZJA]
- Elegancki styl i sportowe możliwości – Test Huawei Watch GT 7 41 mm
- Ekstremalna bateria i pancerna obudowa. Czy to wystarczy? Test Xiaomi Redmi Note 17 Pro 5G
Informacja prasowa: ESET
Zdjęcia:
