{"id":2803,"date":"2021-08-20T11:42:00","date_gmt":"2021-08-20T11:42:00","guid":{"rendered":"https:\/\/aplaw.pl\/?p=2803"},"modified":"2021-08-20T11:51:09","modified_gmt":"2021-08-20T11:51:09","slug":"stosowanie-wadliwych-algorytmow-moze-prowadzic-do-niedokladnych-przewidywan-w-konsekwencji-stworzone-profile-moga-utrwalac-juz-istniejace-stereotypy-i-ograniczac-dostep-konsumentow-do-produktow-czy-u","status":"publish","type":"post","link":"https:\/\/aplaw.pl\/en\/publications\/stosowanie-wadliwych-algorytmow-moze-prowadzic-do-niedokladnych-przewidywan-w-konsekwencji-stworzone-profile-moga-utrwalac-juz-istniejace-stereotypy-i-ograniczac-dostep-konsumentow-do-produktow-czy-u\/","title":{"rendered":"Using of faulty, biased, or malicious algorithms can lead to the wrong estimation. In consequence, the profiles can perpetuate stereotypes and limit the access to goods or services – write Artur Piechocki and Katarzyna Gorzkowska in Rzeczpospolita"},"content":{"rendered":"

20.08.2021 “Traps in the automated data processing”<\/strong><\/p>\n

Stosowanie wadliwych algorytm\u00f3w mo\u017ce prowadzi\u0107 do niedok\u0142adnych przewidywa\u0144. W konsekwencji stworzone profile mog\u0105 utrwala\u0107 ju\u017c istniej\u0105ce stereotypy i ogranicza\u0107 dost\u0119p konsument\u00f3w do produkt\u00f3w czy us\u0142ug.<\/div>\n
\n
\n

Aktualnie ka\u017cda organizacja gromadzi du\u017ce ilo\u015bci informacji, w tym danych osobowych, przez kt\u00f3re, zgodnie z art. 4 pkt 1 RODO nale\u017cy rozumie\u0107 wszelkie informacje o ju\u017c zidentyfikowanej osobie lub informacje umo\u017cliwiaj\u0105ce zidentyfikowanie osoby. Niew\u0105tpliwie dzia\u0142ania na znacznej ilo\u015bci danych, ich analizowanie, nast\u0119pnie wyci\u0105ganie wniosk\u00f3w i tworzenie zestawie\u0144 by\u0142oby znacznie utrudnione bez automatyzacji procesu i wykorzystania nowoczesnych narz\u0119dzi. Dlatego ju\u017c dzisiaj decyzje oparte na zautomatyzowanym przetwarzaniu danych osobowych s\u0105 powszechnie wykorzystywane w wielu bran\u017cach. W szczeg\u00f3lno\u015bci popularno\u015bci\u0105 ciesz\u0105 si\u0119 w sektorze marketingu i reklamy, gdzie wykorzystywane jest profilowanie (np. reklama behawioralna). Ze wzgl\u0119du na korzy\u015bci s\u0105 stosowane tak\u017ce przez sektor: finansowy (np. dane na potrzeby scoringu kredytowego), ubezpieczeniowy czy opieki zdrowotnej (np. analiza stanu zdrowia).<\/p>\n<\/div>\n

\n

Cz\u0142owiek i algorytmy<\/h4>\n

W ostatnich latach coraz wi\u0119kszym zainteresowaniem cieszy si\u0119 automatyzacja proces\u00f3w, w tym rozwi\u0105zania oparte na algorytmach i wykorzystuj\u0105ce tzw. sztuczn\u0105 inteligencj\u0119 (Artificial Intelligence). W szczeg\u00f3lno\u015bci uwaga skupia si\u0119 na narz\u0119dziach umo\u017cliwiaj\u0105cych szybkie i efektywne badanie danych i podejmowanie decyzji na podstawie uzyskanych wynik\u00f3w. Zainteresowanie nowymi metodami wynika przede wszystkim z d\u0105\u017cenia przedsi\u0119biorc\u00f3w do oszcz\u0119dno\u015bci i poprawy efektywno\u015bci wykorzystania ju\u017c posiadanych zasob\u00f3w. Efekty analiz umo\u017cliwiaj\u0105 przedsi\u0119biorcom tak\u017ce zdobycie przewagi konkurencyjnej, gdy\u017c w dzisiejszych czasach dane maj\u0105 ogromn\u0105 warto\u015b\u0107 dla biznesu i nierzadko stanowi\u0105 przedmiot obrotu. Zbieraniu danych sprzyja ich powszechne wyst\u0119powanie w internecie. Dost\u0119p do znacznej ilo\u015bci danych jest mo\u017cliwy tak\u017ce dzi\u0119ki popularyzacji urz\u0105dze\u0144 tzw. internetu rzeczy (Interent of Things, w skr\u00f3cie: IoT).<\/p>\n<\/div>\n<\/div>\n

\n

W przypadku danych osobowych, zbieranie danych, znalezienie powi\u0105za\u0144 mo\u017ce pozwoli\u0107 na okre\u015blenie aspekt\u00f3w osobowo\u015bci lub zachowania, zainteresowa\u0144, przyzwyczaje\u0144 i nawyk\u00f3w danej osoby. Wyniki badania zachowania, zainteresowania i przyzwyczaje\u0144 danej osoby stanowi\u0105 warto\u015b\u0107 ekonomiczn\u0105, gdy\u017c umo\u017cliwiaj\u0105 np. okre\u015blenie typu osobowo\u015bci i przewidywanie potencjalnych decyzji zakupowych konsumenta. To z kolei umo\u017cliwia stworzenie oferty bardziej odpowiadaj\u0105cej potrzebom klient\u00f3w, jak r\u00f3wnie\u017c na kierowanie oferty do w\u0142a\u015bciwych odbiorc\u00f3w.<\/p>\n<\/div>\n

\n

Jakie zagro\u017cenia?<\/h4>\n

Ze wzgl\u0119du na wzrost znaczenia automatyzacji proces\u00f3w, jak r\u00f3wnie\u017c coraz powszechniejsze wykorzystywanie rozwi\u0105za\u0144 opartych na pracy algorytm\u00f3w, zautomatyzowane podejmowanie decyzji staje si\u0119 jednym z najbardziej kontrowersyjnych zagadnie\u0144 w obszarze ochrony danych osobowych.<\/p>\n<\/div>\n

\n

Wymaga wyja\u015bnienia, \u017ce przez zautomatyzowane podejmowanie decyzji nale\u017cy rozumie\u0107 proces, w ramach kt\u00f3rego decyzja jest podejmowana wy\u0142\u0105cznie przy wykorzystaniu rozwi\u0105za\u0144 technologicznych. W takim procesie cz\u0142owiek nie bierze udzia\u0142u, za\u015b dane s\u0105 analizowane przez specjalnie stworzone algorytmy. W procesie mog\u0105 by\u0107 wykorzystane dowolnego rodzaju dane, w tym dane osobowe.<\/p>\n<\/div>\n

\n

Dane mog\u0105 by\u0107 dostarczone bezpo\u015brednio przez osoby fizyczne, kt\u00f3rych dotycz\u0105 (np. przekazane w celu zawarcia umowy, zawarte w odpowiedzi na kwestionariusz), jak r\u00f3wnie\u017c dane pochodz\u0105ce z obserwacji os\u00f3b, czy dane wnioskowane (np. profil osoby fizycznej). Zar\u00f3wno tworzenie profili, jak i podejmowanie zautomatyzowanych decyzji, mo\u017ce mie\u0107 znaczny wp\u0142yw na prawa i wolno\u015bci os\u00f3b fizycznych.<\/p>\n<\/div>\n

\n

WA\u017bNE!<\/strong><\/p>\n

W przypadku pe\u0142nej automatyzacji decyzja jest podejmowana przez \u201eurz\u0105dzenie, komputer”, bez udzia\u0142u cz\u0142owieka. Zatem nie ma mo\u017cliwo\u015bci, aby cz\u0142owiek wp\u0142ywa\u0142 na przebieg takiego procesu.<\/p>\n<\/div>\n

\n

W\u0105tpliwo\u015bci mo\u017ce budzi\u0107 dzia\u0142anie danego algorytmu. Nale\u017cy zaznaczy\u0107, \u017ce zautomatyzowane decyzje s\u0105 cz\u0119sto podejmowane w wyniku przetwarzania nie tylko danych osobowych podanych bezpo\u015brednio przez podmiot danych, ale tak\u017ce m.in. w oparciu o informacje pochodz\u0105ce z innych \u017ar\u00f3de\u0142, w tym informacje stanowi\u0105ce wynik analiz, jak r\u00f3wnie\u017c profilowania. Natomiast stosowanie wadliwych algorytm\u00f3w, wykorzystanie niepe\u0142nych danych mo\u017ce prowadzi\u0107 do niedok\u0142adnych przewidywa\u0144. W konsekwencji stworzone profile mog\u0105 utrwala\u0107 ju\u017c istniej\u0105ce stereotypy i prowadzi\u0107 do dyskryminacji, czy segregacji spo\u0142ecznej. Na przyk\u0142ad zaliczenie osoby do okre\u015blonej kategorii konsument\u00f3w mo\u017ce w efekcie ograniczy\u0107 jej dost\u0119p do produkt\u00f3w, czy us\u0142ug. Taka osoba b\u0119dzie bowiem otrzymywa\u0142a wy\u0142\u0105cznie oferty przeznaczone dla grupy, do kt\u00f3rej zosta\u0142a przypisana. Algorytmy mog\u0105 tak\u017ce nie uwzgl\u0119dnia\u0107 istotnych dla podmiotu danych okoliczno\u015bci, jak r\u00f3wnie\u017c nie przewidywa\u0107 wyj\u0105tkowych sytuacji.<\/p>\n<\/div>\n

\n

Problemem jest r\u00f3wnie\u017c brak przejrzysto\u015bci proces\u00f3w. Co prawda osoby fizyczne zgodnie z art. 13 i 14 RODO powinny otrzyma\u0107 stosowne informacje dotycz\u0105ce przetwarzania ich danych osobowych, niemniej jednak administrator danych osobowych (tj. podmiot decyduj\u0105cy o celach i sposobach przetwarzania danych osobowych) nie ma obowi\u0105zku udzielania informacji na temat szczeg\u00f3\u0142owego dzia\u0142ania stosowanego narz\u0119dzia. Warto nadmieni\u0107, \u017ce tego typu informacje zazwyczaj s\u0105 obj\u0119te tajemnic\u0105 przedsi\u0119biorstwa. Ponadto, ze wzgl\u0119du na stopie\u0144 skomplikowania osoby fizyczne mog\u0105 nie zrozumie\u0107 zasad analizowania danych i podejmowania decyzji, jak r\u00f3wnie\u017c potencjalnych konsekwencji.<\/p>\n<\/div>\n

\n

Zautomatyzowane podejmowanie decyzji a RODO<\/h4>\n

Stosowanie zautomatyzowanego podejmowania decyzji podlega ograniczeniom, w przypadku, gdy opiera si\u0119 na analizie danych osobowych. Opieranie procesu decyzyjno\u015bci wy\u0142\u0105cznie na algorytmach mo\u017ce powodowa\u0107 istotne zagro\u017cenie dla praw i wolno\u015bci os\u00f3b fizycznych, jego stosowanie w przypadku danych osobowych wymaga wdro\u017cenia odpowiednich zabezpiecze\u0144.<\/p>\n<\/div>\n

\n

Dlatego, zgodnie z art. 22 ust. 1 RODO podmiotowi danych przys\u0142uguje prawo do tego by nie podlega\u0107 decyzji opieraj\u0105cej si\u0119 wy\u0142\u0105cznie na zautomatyzowanym przetwarzaniu, w tym profilowaniu i wywo\u0142uj\u0105cej skutki prawne lub w podobny spos\u00f3b istotnie wp\u0142ywaj\u0105cej na osob\u0119, kt\u00f3rej dane osobowe podlegaj\u0105 analizie. Nale\u017cy podkre\u015bli\u0107, \u017ce art. 22 RODO dotyczy wy\u0142\u0105cznie sytuacji, w kt\u00f3rych spe\u0142nione s\u0105 dwie przes\u0142anki. Po pierwsze decyzja dotycz\u0105ca osoby fizycznej musi opiera\u0107 si\u0119 wy\u0142\u0105cznie na zautomatyzowanym przetwarzaniu, w tym profilowaniu. Po drugie chodzi o decyzj\u0119 wywo\u0142uj\u0105c\u0105 wobec podmiotu danych skutki prawne lub inne skutki maj\u0105ce podobny wp\u0142yw. RODO przewiduje jednak odst\u0119pstwa od tej zasady. Zautomatyzowanej decyzji b\u0119dzie podlega\u0142a osoba, w przypadku gdy taka decyzja jest niezb\u0119dna do zawarcia lub wykonania umowy mi\u0119dzy osob\u0105, kt\u00f3rej dane dotycz\u0105, a administratorem danych osobowych; ponadto gdy opiera si\u0119 na wyra\u017anej zgodzie osoby, kt\u00f3rej dane dotycz\u0105. Wskazane wyj\u0105tki nie oznaczaj\u0105 jednak, \u017ce podmiot danych zosta\u0142 pozbawiony ochrony, gdy\u017c r\u00f3wnie\u017c w takich przypadkach administrator obowi\u0105zany jest do zapewnienia w\u0142a\u015bciwych \u015brodk\u00f3w s\u0142u\u017c\u0105cych ochronie praw, wolno\u015bci i prawnie uzasadnionych interes\u00f3w osoby, kt\u00f3rej dane dotycz\u0105. Do takich \u015brodk\u00f3w nale\u017cy mo\u017cliwo\u015b\u0107 uzyskania interwencji ludzkiej ze strony administratora; wyra\u017cenia w\u0142asnego stanowiska, jak r\u00f3wnie\u017c zakwestionowania samej decyzji. Podobnie decyzji opieraj\u0105cej si\u0119 wy\u0142\u0105cznie na automatyzowanym przetwarzaniu danych osobowych b\u0119dzie podleg\u0142a osoba, w przypadku, gdy taka decyzja jest dozwolona prawem Unii lub prawem pa\u0144stwa cz\u0142onkowskiego, kt\u00f3remu podlega administrator i kt\u00f3re przewiduje w\u0142a\u015bciwe \u015brodki ochrony praw, wolno\u015bci i prawnie uzasadnionych interes\u00f3w osoby, kt\u00f3rej dane dotycz\u0105.<\/p>\n<\/div>\n

\n

WA\u017bNE!<\/strong><\/p>\n

Ograniczenia wskazane w art. 22 RODO dotycz\u0105 wy\u0142\u0105cznie decyzji ca\u0142kowicie zautomatyzowanej, czyli takiej, w kt\u00f3rej procesie wydawania nie uczestniczy\u0142 cz\u0142owiek.<\/p>\n<\/div>\n

\n

Rzeczywista decyzja cz\u0142owieka<\/h4>\n

Ze wzgl\u0119du na liczne korzy\u015bci (np. optymalizacj\u0119 koszt\u00f3w, przyspieszenie pracy), oparcie proces\u00f3w wy\u0142\u0105cznie na dzia\u0142aniu algorytm\u00f3w stanowi pokus\u0119. Mo\u017ce zatem dochodzi\u0107 do pr\u00f3b obej\u015bcia przepis\u00f3w art. 22 RODO poprzez symulowanie udzia\u0142u cz\u0142owieka. Grupa robocza ds. ochrony os\u00f3b fizycznych w zakresie przetwarzania danych osobowych w tre\u015bci wytycznych WP 251 wskaza\u0142a, \u017ce za tak\u0105 symulacj\u0119 nale\u017cy uzna\u0107 np. sytuacj\u0119 generowania profili os\u00f3b fizycznych bez jakiegokolwiek realnego wp\u0142ywu cz\u0142owieka. Chodzi zatem o sytuacje, w kt\u00f3rych nie wyst\u0119puje \u017caden realny wp\u0142yw cz\u0142owieka na wynik analiz.<\/p>\n<\/div>\n

\n

Podobnie symulacja udzia\u0142u cz\u0142owieka b\u0119dzie mia\u0142a miejsce w przypadku, gdy interwencja ludzka jest tylko wyj\u0105tkowa i niewielka. Dzia\u0142anie, aktywno\u015b\u0107 cz\u0142owieka musi by\u0107 zatem istotne. W praktyce cz\u0142owiek nie tylko powinien uczestniczy\u0107 w procesie podejmowania decyzji, ale r\u00f3wnie\u017c powinien mie\u0107 uprawnienia i kompetencje do zmiany decyzji. Nie wystarczy zatem wy\u0142\u0105cznie, aby osoba formalnie zatwierdzi\u0142a (podpisa\u0142a) rozstrzygniecie wygenerowane w spos\u00f3b zautomatyzowany. W ramach analizy cz\u0142owiek powinien rozwa\u017cy\u0107 wszystkie dost\u0119pne informacje. Oczywi\u015bcie nie oznacza to, \u017ce osoba nie mo\u017ce si\u0119 wspiera\u0107 wynikami analiz wytworzonymi przez algorytmy. Niemniej jednak powinny one stanowi\u0107 wy\u0142\u0105cznie rekomendacje. Sama decyzja powinna zosta\u0107 wydana po uwzgl\u0119dnieniu tak\u017ce innych czynnik\u00f3w.<\/p>\n<\/div>\n

\n

Spe\u0142nienie powy\u017cszych wytycznych i zagwarantowanie rzeczywistego udzia\u0142u cz\u0142owieka jest istotne, gdy\u017c w przypadku w\u0105tpliwo\u015bci administrator b\u0119dzie musia\u0142 wykaza\u0107, \u017ce decyzja nie opiera si\u0119 wy\u0142\u0105cznie na zautomatyzowanym przetwarzaniu danych.<\/p>\n

Article: https:\/\/www.rp.pl\/Firma\/308199987-Pulapki-zautomatyzowanego-przetwarzania-danych.html<\/a><\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

[\u2026]<\/span><\/p>\n","protected":false},"author":1,"featured_media":2807,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[51],"tags":[],"class_list":["post-2803","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-publications"],"_links":{"self":[{"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/posts\/2803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/comments?post=2803"}],"version-history":[{"count":0,"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/posts\/2803\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/media\/2807"}],"wp:attachment":[{"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/media?parent=2803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/categories?post=2803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aplaw.pl\/en\/wp-json\/wp\/v2\/tags?post=2803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}