The main characteristic of AI driven systems is the fact that functioning of those systems is based on Big Data. This is the reason why a big number of cyberattacks may be focused on databases. The cyberattacks on AI driven systems can use data files, for example „data poisoning” attack – write Artur Piechocki and Katarzyna Gorzkowska

Wprowadzenie

Rozwój sztucznej inteligencji (ang. artificial intelligence, w skrócie: SI) niesie wiele potencjalnych korzyści, ale wiąże się także z istotnymi zagrożeniami, takimi jak brak przejrzystości czy wyjaśnialności, jak również podatnością na nowe typy ataków. Ponieważ algorytmizacja zadań wchodzi na wyższy poziom zaawansowania, rozwój autonomicznych narzędzi może doprowadzić do zmniejszenia przejrzystości zasad działania oprogramowania i urządzeń, których funkcjonowanie zostało oparte na sztucznej inteligencji. Na brak
zrozumienia funkcjonowania SI wpływ mogą mieć również ewentualne zmiany w kodzie lub algorytmach dokonywane przez cyberprzestępców. Rozwój SI powiązany jest zatem ze wzrostem zagrożeń dla cyberbezpieczeństwa. Przestępcy coraz częściej podejmują próby przełamania zabezpieczeń systemów SI. Konsekwencję takich działań może stanowić manipulowanie danymi, na których oparte zostało działanie SI, jak również przekształcenie
sposobu działania algorytmów. Nieuprawniona zmiana zasad funkcjonowania algorytmów będzie prowadziła do podejmowania niewłaściwych decyzji, co może wyrządzić szkody użytkownikom systemów opartych o SI. Warto zaznaczyć, że wadliwe działanie SI naraża nie tylko użytkowników, lecz
również inne osoby, które znajdują się w obszarze jej oddziaływania, choć nie korzystają one z systemów, w których wykorzystano SI, np. systemy wykorzystywane do dostarczania energii elektrycznej. Zatem krąg osób potencjalnie poszkodowanych może okazać się znacznie szerszy.
Aktualnie większość rozwiązań SI opiera się na uczeniu maszynowym 1 (ang. machine learning, w skrócie: ML). Tymczasem eksperci wskazują, że ze względu na specyfikę budowy działania ML, bazujące na niej systemy są narażone na liczne podatności, które wpływają na poziom cyberbezpieczeństwa tych rozwiązań. W ocenie ekspertów nieuniknione
są sytuacje dokonania błędnych prognoz przez systemy SI opierające się na ML. W związku z powyższym coraz częściej pojawiają się opinie o konieczności modyfikowania standardów i norm, w celu ich dostosowania do zmieniających się potrzeb. Zapewnieniu cyberbezpieczeństwa systemów SI nie sprzyja brak jednolitych regulacji. Tym bardziej pozostawienie tego obszaru do samodzielnej regulacji państwom członkowskim nie doprowadziłoby do powstania jednolitego poziomu ochrony i skutecznego zapewniania
bezpieczeństwa. Według Komisji Europejskiej sytuację ma zmienić ustanowienie wspólnych ram prawnych na poziomie Unii Europejskiej. W projekcie aktu w sprawie sztucznej inteligencji 5 (w skrócie: AI Act) przewidziano obowiązkowe rozwiązania, w tym dotyczące
bezpieczeństwa cybernetycznego, mające zastosowanie na etapie projektowania  rozporządzeniu systemów sztucznej inteligencji, czyli jeszcze przed wprowadzeniem do obrotu takich systemów. Przepisy mają także ustanowić podwaliny pod opracowanie zharmonizowanych norm technicznych.

Cyberbezpieczeństwo SI

Na gruncie prawa Unii Europejskiej cyberbezpieczeństwo można zdefiniować jako „działania niezbędne do ochrony sieci i systemów informatycznych, użytkowników takich systemów oraz innych osób przed cyberzagrożeniami” , czyli „wszelkimi potencjalnymi okolicznościami, zdarzeniami lub działaniami, które mogą wyrządzić szkodę, spowodować zakłócenia lub w inny sposób niekorzystnie wpłynąć w przypadku sieci i systemów informatycznych, użytkowników takich systemów oraz innych osób”. W przypadku systemów SI cyberbezpieczeństwo odgrywa istotną rolę dla zapewniania odporności
systemów sztucznej inteligencji przed aktami osób trzecich działających w złej wierze, jak próby modyfikacji w tym w zakresie zastosowania, zachowania, skuteczności działania, jak również obejścia zabezpieczeń. Obecnie można spotkać się z różnymi interpretacjami rozumienia cyberbezpieczeństwa
systemów SI. W wąskim znaczeniu, cyberbezpieczeństwo sprowadza się do działań mających stanowić ochronę systemu SI przed atakami na poufność, integralność i dostępność aktywów, tj. komponentów SI oraz powiązanych danych i procesów. Przy czym zapewnienie ochrony dotyczy całego cyklu życia systemu SI, nie tylko etapu jego tworzenia. W szerokim rozumieniu cyberbezpieczeństwo obejmuje także działania mające na celu zapewnienie
wiarygodności systemu SI, w tym jakości danych, nadzoru, solidności, dokładności, wyjaśnialności, przejrzystości i identyfikowalności.
Cechą charakterystyczną systemów SI jest to, że ich działanie opiera się na dużych ilościach danych. Dlatego znaczna liczba zagrożeń może zostać nakierowana na zasoby danych. Ataki na systemy sztucznej inteligencji mogą polegać na wykorzystaniu poszczególnych zasobów, np. zbiorów danych treningowych (przykładowo atak „data poisoning”). Ataki mogą także
dotyczyć samych modeli. Przykładowo atak może polegać na wprowadzeniu do modelu złośliwych danych w celu spowodowania działania systemu innego niż zamierzony przez jego sztucznej inteligencji (akt w sprawie sztucznej inteligencji) i zmieniające niektóre akty ustawodawcze Unii.
Przestępcy mogą także próbować wykorzystać podatności w zasobach cyfrowych systemu sztucznej inteligencji lub w całej infrastrukturze stanowiącej podwaliny danego systemu SI. Aby zapewnić odpowiedni do ryzyka poziom cyberbezpieczeństwa, dostawcy systemów sztucznej inteligencji powinni wdrożyć adekwatne środki, uwzględniające
infrastrukturę ICT, na której opiera się dany system. Zapewnienie stosownych środków ma znaczenie zwłaszcza w przypadku systemów SI wysokiego ryzyka. Warto zaznaczyć, że obecnie dominują techniki ML, które są narażone na liczne podatności.
Trudno jest kontrolować jakość danych wykorzystanych w ramach ML. Ręczne
kontrolowanie danych w takich sytuacjach jest niemożliwe do wykonania. Postulowane jest w takiej sytuacji wdrożenie procedur śledzenia obiegu danych lub procedur sprzyjających zapewnieniu jakości danych. Takie rozwiązania powinny zostać wprowadzone w celu zapewnienia, że wykorzystywane dane nie zawierają błędów, jak również nie zostały celowo
zmienione, czy nie zostały celowo lub nieumyślnie błędnie oznakowane. Niestety nie ma unikalnej strategii kontroli bezpieczeństwa w celu ochrony algorytmów uczenia maszynowego. Obecnie stosowane metody nie zostały wystarczająco zweryfikowane, ani ustandaryzowane pod względem tego, jak powinny być wdrażane. W związku z czym rodzaje ryzyka i zagrożeń związanych z systemami SI należy ustalić na podstawie indywidualnego podejścia, uwzględniając specyfikę każdego sektora i danego przypadku.
Przy kalkulowaniu ryzyka istotne jest uwzględnienie wpływu systemu SI na prawa podstawowe i bezpieczeństwo. Systemy SI mogą mieć zastosowanie w wielu różnych dziedzinach, dlatego identyfikacja zagrożeń dla bezpieczeństwa cybernetycznego oraz określenie stosownych wymagań dla bezpieczeństwa powinny bazować na analizie dostosowanej dla danego systemu oraz, w razie potrzeby, na normach sektorowych, które powinny mieć charakter horyzontalny, jak również być dostosowane do specyfiki SI.

Podejście oparte na ryzyku

Regulacje odnoszące się do cyberbezpieczeństwa określają trzy poziomy pewności (podstawowy, znaczny, wysoki), które są współmierne do poziomu ryzyka związanego z zamierzonym wykorzystaniem produktu, usługi, procesu ICT. Pojawiają się stanowiska o konieczności zweryfikowania, czy i jak te poziomy zapewnienia mogą mieć zastosowanie w przypadku systemów SI i projektu AI Act. Rozwiązania zaproponowane w AI Act również uwzględniają podejście oparte na ryzyku w celu określenia, czy system AI jest obarczony wysokim ryzykiem w zakresie wpływu jego zastosowania na zdrowie, bezpieczeństwo i prawa podstawowe. Jest to odmienne podejście, które różni się od podejścia opartego na ryzyku cybernetycznym rozumianym jako funkcja negatywnych skutków cyberzagrożeń i prawdopodobieństwa ich wystąpienia.
Podczas weryfikowania systemu SI pod kątem uznania za system wysokiego ryzyka zasadnicze znaczenie ma rozmiar szkodliwego wpływu wywieranego na prawa podstawowe chronione na mocy Karty praw podstawowych. Wśród tych praw znajdują się: prawo do godności człowieka, poszanowanie życia prywatnego i rodzinnego, ochrona danych osobowych, wolność wypowiedzi i informacji, wolność zgromadzania się i stowarzyszania się oraz niedyskryminacja, ochrona konsumentów, prawa pracownicze, prawa osób niepełnosprawnych, prawo do skutecznego środka prawnego i dostępu do bezstronnego sądu, prawo do obrony i domniemania niewinności, prawo do dobrej administracji.
Projekt rozporządzenia przewiduje, że cyberbezpieczeństwo systemów SI również będzie wymogiem, jednakże mającym zastosowanie dopiero po zakwalifikowaniu systemu jako systemu SI wysokiego ryzyka. Zgodnie z projektowanymi przepisami tylko systemy wysokiego ryzyka będą podlegały wymogowi zapewnienia bezpieczeństwa cybernetycznego. W motywie AI Act wskazano na konieczność zapewnienia poziomu cyberbezpieczeństwa
odpowiedniego do ryzyka. Dlatego dostawcy systemów AI wysokiego ryzyka powinni przedsięwziąć należyte środki, uwzględniające również bazową infrastrukturę ICT. W propozycji art. 15 ust. 1 AI Act przewidziano, że systemy sztucznej inteligencji wysokiego ryzyka powinny być projektowane i opracowywane w sposób zapewniający odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa. Przesłanki te mają zastosowanie do całego cyklu życia systemu SI. Z kolei za spełniające wymogi cyberbezpieczeństwa zostaną uznane te systemy, które uzyskały stosowny certyfikat.
Systemy AI wysokiego ryzyka odnoszą się do systemów AI przeznaczonych do stosowania jako elementy bezpieczeństwa w produktach, które mają podlegać ocenie zgodności przez stronę trzecią. Kontrola ma być realizowana ex ante. Dotyczą samodzielnych systemów AI mających wpływ na prawa podstawowe oraz wykorzystywanych do zarządzania i eksploatacji infrastruktury krytycznej.
Z tych względów zdecydowano się na określenie wymogów sprzyjających zapewnieniu bezpieczeństwa. Przede wszystkim systemy SI wysokiego ryzyka powinny być odporne na próby manipulacji przez osoby nieuprawnione, tj. zmiany przez nieupoważnione osoby trzecie sposobu ich użytkowania lub działania poprzez wykorzystanie słabych punktów systemu. Zatem powinny zostać wdrożone odpowiednie środki techniczne, dostosowane do podatności, które obejmują środki mające na celu zapobieganie atakom, jak również kontrolę ataków skierowanych na manipulowanie zbiorem danych szkoleniowych, danych wejściowych, czy mających na celu spowodowanie, że model popełni błąd lub wad modelu.
Projekt rozporządzenia przewiduje również system zarządzania procesem oceny zgodności systemów SI wymaganiami. Przede wszystkim podmioty przeprowadzające ocenę zgodności będą musiały posiadać odpowiednie narzędzia i kompetencje, w tym w zakresie bezpieczeństwa cybernetycznego. W niektórych przypadkach, ocena będzie mogła zostać przeprowadzana przez jednostki notyfikowane. Sprostanie wymaganiom ma znaczenie z uwagi na konieczność zapewnienia, że nie dojdzie do dokonywania złych ocen, czy zakłócenia na rynku w wyniku stosowania SI. Jednak obecnie nie istnieją normy, które byłyby odpowiednie w przypadku bezpieczeństwa cybernetycznego i opisywałyby kompetencje organizacji w zakresie audytu, certyfikacji i testowania systemów SI, jak również audytorów.
Zatem istnieją luki standaryzacyjne dotyczące kompetencji w zakresie walidacji, testowania, audytu, certyfikacji. W projekcie AI Act przewidziano także, że w przypadku systemów wysokiego ryzyka powinna zostać dołączona instrukcja użytkowania, określająca takie elementy jak poziom dokładności, odporności i cyberbezpieczeństwa, w zakresie którego system został przetestowany i zatwierdzony i którego można oczekiwać, jak również wszelkie znane i przewidywalne okoliczności, które mogą mieć wpływ na ten oczekiwany poziom dokładności, odporności i cyberbezpieczeństwa.

Interpretowalność i wyjaśnialność SI

W przypadku systemów SI stosowanie nawet najlepszych praktyk w zakresie zapewniania jakości oprogramowania może być utrudnione ze względu na brak przejrzystości niektórych modeli SI. Dysponowanie informacjami na temat sposobu opracowania systemu sztucznej inteligencji wysokiego ryzyka i jego działania w całym cyklu życia jest istotne dla weryfikacji zgodności z wymogami określonymi w projekcie AI Act. Przyjmuje się, że algorytmy są wytłumaczalne, jeżeli zasady podejmowania przez nie decyzji mogą być zrozumiane przez człowieka (np. dewelopera lub audytora), a następnie wyjaśnione użytkownikowi końcowemu.
Zapewnienie określonego poziomu przejrzystości systemów SI jest konieczne ze względu na potrzebę zapobieżenia efektowi czarnej skrzynki. Może on doprowadzić do braku możliwości zrozumienia działania systemów SI. W efekcie systemy sztucznej inteligencji staną się niezrozumiałe lub zbyt skomplikowane dla osób fizycznych. Wymóg ten w szczególności odnosi się do systemów sztucznej inteligencji wysokiego ryzyka. Coraz częściej podnoszone jest, że użytkownicy powinni być w stanie interpretować wyniki działania systemu i odpowiednio z nich korzystać. Dlatego do systemów sztucznej inteligencji wysokiego ryzyka powinna zostać dołączona odpowiednia dokumentacja i instrukcja obsługi. Ponadto, takie systemy powinny zawierać zwięzłe i jasne informacje dotyczące ewentualnego zagrożenia dla praw podstawowych oraz dyskryminacji. Pomimo, że dokumentacja sama w sobie nie jest wymogiem bezpieczeństwa, jednakże stanowi istotny element przejrzystości systemu i wyjaśnialności w przypadku kontroli bezpieczeństwa.

W przypadku systemów SI wysokiego ryzyka kolejną ważną kwestię stanowią kryteria dotyczące jakości wykorzystywanych zbiorów danych dokumentacji technicznej i rejestrowania zdarzeń, przejrzystości i przekazywania informacji użytkownikom, nadzoru ze strony człowieka oraz solidności, dokładności i cyberbezpieczeństwa. Niewątpliwie systemy sztucznej inteligencji wysokiego ryzyka powinny podlegać również takim wymogom. Jest to konieczne ze względu na potrzebę skutecznego ograniczenia zagrożeń dla zdrowia, bezpieczeństwa i praw podstawowych. Do niezbędnych kryteriów powinny się zaliczać także obowiązkowe prowadzenia rejestrów zdarzeń, zapewnienia dostępności dokumentacji technicznej zawierającej informacje niezbędne do oceny zgodności systemu sztucznej inteligencji z odpowiednimi wymogami. Dostarczane informacje powinny obejmować ogólne właściwości, możliwości i ograniczenia systemu, algorytmy, dane, procesy związane z trenowaniem, testowaniem i walidacją, a także dokumentację dotyczącą odpowiedniego systemu zarządzania ryzykiem. Ze względu na specyfikę SI, dokumentacja techniczna powinna podlegać aktualizacji. Na istotę weryfikowania zdarzeń i aktywności, jak również kwestię prowadzenia audytów (zarówno zautomatyzowanych, jak również ręcznych) uwagę zwracają także poszczególne organy nadzoru w zakresie ochrony danych osobowych. W ocenie Agencia Espanola Proteccion Datos takie działania, jak również certyfikacja są nieodłącznymi elementami strategii rozliczalności, odpowiedzialności oraz wynikają z wymogów prawnych. Pliki dziennika zdarzeń są wymagane do wspierania procesów audytu i mechanizmów bezpieczeństwa. W zakresie ochrony danych pliki dziennika powinny dostarczać dowodów w celu: ustalenia, kto i w jakich okolicznościach uzyskuje dostęp do danych osobowych, które mogą być zawarte w modelu; zapewnić identyfikowalność w odniesieniu do aktualizacji modeli wnioskowania, komunikacji interfejsu API użytkownika z modelem oraz wykrywania nadużyć lub prób włamań. Ponadto, zapewnienie identyfikowalności powinno być stosowane w celu umożliwienia zarządzania ujawnianiem danych. Są również niezbędne w celu zapewnienie monitorowania parametrów jakościowych wnioskowania, gdy sztuczna inteligencja jest wykorzystywana do podejmowania decyzji lub w procesach wspomagających podejmowanie decyzji. Z kolei od deweloperów komponentów SI, korzystających zrozwiązań opartych na ML oczekuje się wdrożenia dodatkowych rejestrów w celu udokumentowania i umożliwienia śledzenia pochodzenia danych szkoleniowych i ich walidacji, a także rejestrów analizy danych, a także zapisów analiz przeprowadzonych na temat ważności takich danych i ich wyników.

Normalizacja

Ze względu na złożoność i potencjalne zagrożenia, jakie niesie ze sobą wdrażanie rozwiązań opartych o systemy SI, należy zapewnić spójność ich funkcjonowania w całym cyklu ich życia, ponadto odpowiedni stopień ich solidności, dokładności, jak również cyberbezpieczeństwa. Przede wszystkim systemy SI należy wyposażyć w odpowiednie rozwiązania techniczne, których sama SI nie będzie w stanie obejść, jak również w takie, które zapewnią reagowanie na działania człowieka–operatora systemu. Osoby nadzorujące powinny także posiadać niezbędne kompetencje, w tym szkolenie i uprawnienia.
Istotnym wymogiem jest również solidność techniczna. Systemy Si powinna cechować odporność na zagrożenia związane z np. błędami, usterkami, niespójnościami, nieprzewidzianymi sytuacjami; ponadto odporność na szkodliwe działania, które mogą naruszyć bezpieczeństwo systemu i skutkować niepożądanym zachowaniem. Kluczową rolę w ustalaniu odpowiednich rozwiązań technicznych w celu zapewnienia zgodności z przepisami, w tym AI Act powinna odgrywać normalizacja. Istotne znaczenie będzie miał aktualny stan wiedzy. Aktualnie wsparcie, jakiego mogą udzielić normy w celu zabezpieczenia systemów SI, jest ograniczone dojrzałością rozwoju technologicznego. Wskazuje się, że w niektórych przypadkach możliwe jest opracowanie pierwszych norm, ale prawdopodobnie musiałyby zostać zaktualizowane i dostosowywane w miarę postępu prac badawczo-rozwojowych.

https://www.ksiegarnia.beck.pl/prawo/czasopisma/prawo-nowych-technologii-kwartalnik