Manipulacja poleceniami, wykradanie danych ze skrzynki – jak cyberprzestępcy używają AI asystenta?
Użytkownicy ChatGPT generują nawet 100 mld słów dziennie[1]. Tzw. duże modele językowe (large language model, LLM) bazujące na sztucznej inteligencji coraz bardziej zyskują na popularności jako alternatywa dla wyszukiwarek internetowych czy wsparcie w komunikacji z klientami. Poza nowymi możliwościami modele AI niosą też zagrożenia – cyberprzestępcy mogą podsłuchiwać komunikację z czatem oraz manipulować instrukcjami przekazywanymi do modelu AI.
Recenzja Logitech Wave Keys: ergonomiczna klawiatura do pracy biurowej i domowej
Duże modele językowe, takie jak ChatGPT czy Copilot, mogą być używane jako rozszerzenia przeglądarki internetowej i mieć do niej nieograniczony dostęp oraz kontrolę, na przykład uprawnienia do pobierania informacji, wypełniania formularzy czy formułowania zapytań.
Może to być dużym wsparciem dla użytkowników, ale znacznie rozszerza też powierzchnię możliwych cyberataków. Jak pokazał eksperyment ekspertów firmy WithSecure przeprowadzony na specjalnie stworzonym chatbocie, cyberprzestępcy za pomocą programów LLM mogą przejąć poufne informacje ze skrzynki pocztowej użytkownika oraz zmienić oryginalne instrukcje wydane czatowi.
– Wystarczy, że cyberprzestępca wyśle maila ze złośliwą zawartością, a ofiara ataku poleci inteligentnemu asystentowi przeczytanie wiadomości ze swojej skrzynki i przygotowanie podsumowania. W momencie, gdy program otworzy maila, złośliwy ładunek zastępuje oryginalne instrukcje użytkownika (tak zwany prompt) i nakazuje asystentowi wyszukanie w skrzynce kodu logowania do banku oraz przesłanie go atakującemu – wskazuje Leszek Tasiemski, VP w firmie WithSecure.
Test Nubia Redmagic 9 pro – 5 powodów, dla których warto spojrzeć w jej kierunku
– Akcja jest widoczna na ekranie, ślad po niej zostaje też w monitach, więc możliwe jest zorientowanie się, co się stało i podjęcie działań, np. zmiany haseł czy zablokowania konta. Jest to jednak poważne zagrożenie dla danych i prywatności użytkowników.
Cyberprzestępcy mogą oszukać AI
Użytkownicy komunikują się z chatbotami poprzez wydawanie poleceń lub zadawanie pytań (tzw. promptów). Jeżeli pytanie zostanie odpowiednio spreparowane, informacja zwrócona użytkownikowi może być bardzo odmienna od tego, co przewidział operator danej usługi, a program zwróci użytkownikowi nieprawdziwe wyniki. Jak wskazały badania konsultanta ds. bezpieczeństwa z WithSecure, Donato Capitelli, z pomocą kilku technik cyberprzestępcy mogą oszukać chatbota tak, aby myślał, że zgodnie z poleceniem użytkownika sprawdził informacje z odpowiedniego systemu – a tak naprawdę są to dostarczone przez hakera fałszywe dane i podpowiedzi.
– Internetowe moduły sztucznej inteligencji podłączone do dużych modeli językowych będą coraz częściej stosowane przez firmy. Już teraz wiele przedsiębiorstw i użytkowników przetwarza dane z pomocą inteligentnych asystentów, aby podjąć odpowiednią decyzję, np. czy sprawa zgłoszona przez klienta powinna zostać przekazana do konsultanta.
Takie firmy będą wystawiały się na ryzyko związane z manipulacją wejścia, ale także „halucynacjami” AI. Inicjatywy wdrażania mechanizmów LLM w aplikacjach i usługach udostępnianych klientom powinny być poprzedzone bardzo uważną analizą ryzyka. Brak odpowiednich zabezpieczeń może doprowadzić nie tylko do szkód finansowych, ale także utraty reputacji – mówi Leszek Tasiemski.
Jak zabezpieczyć sztuczną inteligencję przed naturalną?
Aby uniknąć ryzyka i ograniczać potencjalne szkody konieczne jest m.in. dokładne kontrolowanie uprawnień dostępu modelu LLM do danych. Ważny jest również nadzór człowieka nad operacjami dokonywanymi przez inteligentnych asystentów. Warto rozważyć wdrożenie rozwiązań takich jak OpenAI Chat Markup Language (ChatML), które będą próbowały odróżnić rzeczywiste zapytania pochodzące od użytkowników od innych, potencjalnie złośliwych, treści.
Zawsze też należy traktować odpowiedzi generowane przez duże modele językowe z ostrożnością i pewną dozą podejrzliwości. Warto mieć z tyłu głowy, że cały czas istnieje ryzyko, że powiedzie się próba naruszenia agenta sztucznej inteligencji i zmuszenia go do podejmowania niekorzystnych dla firmy czy użytkownika decyzji lub działań. Ich skutki mogą być nieprzewidywalne, dlatego konieczne jest zabezpieczenie wszelkich narzędzi lub systemów, do których chatbot może mieć dostęp.
***
Więcej szczegółów dostępnych jest na stronie opisującej przebieg badania.
[1] https://uk.news.yahoo.com/chatgpt-creators-openai-generating-100-170754245.html
