Case Study: Instytucja Finansowa

Kontekst

Duża instytucja finansowa wdrożyła asystenta opartego na modelu LLM do obsługi klienta oraz operacji wewnętrznych. System działa w środowisku regulowanym, objętym rygorystycznymi wymogami compliance.

• •Regulowane środowisko z asystentem LLM
• •Scenariusze (use cases) zorientowane na klienta
• •Integracja z systemami danych finansowych
• •Rygorystyczne wymogi bezpieczeństwa i compliance

Obszary koncentracji

Weryfikacja skupiła się na zidentyfikowaniu błędów związanych z prompt injection oraz ryzyk wynikających z unsafe tool use, które stanowią krytyczne zagrożenie w sektorze finansowym.

• •Podatności na prompt injection
• •Błędy w obsłudze narzędzi (unsafe tool-use)
• •Ryzyko wycieku danych (data leakage)
• •Luki w AI governance pod kątem compliance

Wnioski

Zaobserwowaliśmy błędy o wysokim i średnim priorytecie (severity), w których asystent mógł zostać zmanipulowany do naruszenia polityk i przepisów, generował instrukcje wrażliwe pod kątem AML oraz deklarował lub podejmował działania wykraczające poza jego uprawnienia.

Co zrobiliśmy

Przeprowadziliśmy testy bezpieczeństwa typu black-box LLM, zaczynając od reconnaissance modelu i jego integracji. Następnie zrealizowaliśmy ustrukturyzowany plan testów obejmujący prompt injection, obchodzenie zabezpieczeń (boundary bypass), ścieżki ekspozycji danych oraz nadużycia narzędzi. Jako bazę wykorzystaliśmy OWASP Top 10 for LLM Applications, po czym przeszliśmy do iteracyjnego, manualnego adversarial testing.

Rezultaty

Dostarczyliśmy konkretne wyniki oraz gotową dokumentację dla zespołów bezpieczeństwa i compliance.

• •Podsumowanie wyników – ustrukturyzowany przegląd zaobserwowanych ryzyk.
• •Logi dowodowe (repro notes) – udokumentowane prompty i kroki do wewnętrznej walidacji.
• •Kategoryzacja ryzyk – problemy pogrupowane według severity i obszarów wpływu.
• •Readout walkthrough – krótka sesja pokazująca, jak wykryto podatności.