Sistem UI na podlagi podatkov in uporabljene metodologije oblikuje napoved, oceno, razvrstitev ali priporočilo. Tudi tehnično ustrezno zasnovan sistem se lahko zmoti. Pri lažno pozitivnem rezultatu zazna tveganje ali nepravilnost, ki je v konkretnem primeru ni. Posledice lahko segajo od dodatnega preverjanja do zavrnitve kredita, blokade transakcije, manj ugodne cene, daljše obravnave zahtevka ali izločitve kandidata. Pravno zato ni pomembna le natančnost sistema, temveč tudi način, kako organizacija obravnava njegove napake.
Prispevek se osredotoča na prag, pri katerem ocena sistema sproži opozorilo ali drugo neugodno posledico. Določitev tega praga ni zgolj tehnično vprašanje, temveč pravna in organizacijska odločitev, saj vpliva na porazdelitev posledic napak med organizacijo in posameznike.
Lažno pozitiven rezultat pomeni, da sistem pojav napačno uvrsti v kategorijo, ki sproži opozorilo ali neugodno obravnavo. Sistem za preprečevanje goljufij lahko zakonito transakcijo označi kot sumljivo, sistem za oceno tveganja posameznika brez zadostne podlage razvrsti med bolj tvegane, sistem za obravnavo zahtevkov pa običajen primer označi kot odstopanje. Nasprotno pa pri lažno negativnem rezultatu sistem spregleda obstoječe tveganje. Obe napaki sta lahko pravno pomembni, vendar pri lažno pozitivnem rezultatu posameznik nosi breme previdnostnega pristopa organizacije, čeprav za neugodno razvrstitev morda ni stvarne podlage.
Vzrok za napake so lahko napačni ali zastareli vhodni podatki, neustrezni podatki za učenje, omejitve sistema, neprimerno določen prag ali uporaba zunaj predvidenega namena. Ugotoviti je treba, v kateri fazi je napaka nastala, kdo bi jo lahko preprečil in kdo je rezultat uporabil pri odločanju. Pravni pomen rezultata je odvisen od tega, kako se uporablja v konkretnem postopku. Isti izhod ima drugačen pomen, če se uporablja za zbirno statistiko, kot notranje opozorilo, kot priporočilo zaposlenemu ali kot odločilna podlaga za odločitev o posamezniku. Poimenovanje sistema kot podpornega orodja zato ni odločilno.
Če se osebni podatki avtomatizirano uporabljajo za ocenjevanje osebnih vidikov posameznika, gre lahko za oblikovanje profilov po četrti točki 4. člena Splošne uredbe o varstvu podatkov (v nadaljevanju: GDPR).1 Pri tem ni nujno, da sistem sam sprejme končno odločitev ali uporablja posebej zapleteno metodo. Nadalje je treba presoditi, ali gre za avtomatizirano individualno odločanje po 22. členu GDPR, torej ali odločitev temelji izključno na avtomatizirani obdelavi in ima pravne ali podobno pomembne učinke.
Nato je treba presoditi, ali uporabljeno orodje ustreza opredelitvi sistema UI po Uredbi o umetni inteligenci (v nadaljevanju: Akt o UI),2 ali je visoko tvegano in kakšno vlogo imajo posamezni subjekti. Organizacija je lahko ponudnik ali uvajalec sistema ter hkrati upravljavec osebnih podatkov. Po tretjem odstavku 6. člena se nekateri sistemi iz Priloge III ne štejejo za visoko tvegane, če ne pomenijo znatnega tveganja za zdravje, varnost ali temeljne pravice in bistveno ne vplivajo na izid odločanja. Za namene te določbe pa se sistem, ki oblikuje profile fizičnih oseb, vedno šteje za visoko tveganega.3
Lažno pozitiven rezultat je treba presojati tudi z vidika načela točnosti. GDPR zahteva točne in po potrebi posodobljene osebne podatke ter popravek ali izbris netočnih podatkov brez odlašanja.4 Pri napovednih ocenah je treba razlikovati med napačnimi podatki in negotovostjo, ki je značilna za samo oceno. Posameznik ne more zahtevati ugodnejše ocene zgolj zato, ker se z njo ne strinja, lahko pa zahteva popravek napačnih dejanskih podatkov in ustrezno obravnavo položaja, ko se ocena uporablja kot ugotovljeno dejstvo.
V evidencah je zato treba razlikovati med preverjenimi dejstvi, domnevami in avtomatiziranimi ocenami. Oznaka povečano tveganje sama po sebi ne dokazuje nepravilnosti. Če se brez ponovne presoje prenaša med sistemi ali ohrani po tem, ko se sum ni potrdil, lahko postane navidezno objektivna in trajna lastnost posameznika. Upravljavec mora zato določiti postopek za preverjanje, popravek, odstranitev ali ustrezno označitev neutemeljenih rezultatov.
Prvi odstavek 22. člena GDPR določa, da ima posameznik pravico, da zanj ne velja odločitev, ki temelji zgolj na avtomatizirani obdelavi, vključno z oblikovanjem profilov, in ima pravne učinke v zvezi z njim ali nanj na podoben način znatno vpliva.5
Človekova vključitev mora biti vsebinska. Ni dovolj, da zaposleni rezultat zgolj potrdi. Imeti mora informacije, znanje, čas in pooblastilo, da ga preveri ter po potrebi spremeni. Odločitev iz prvega odstavka 22. člena je dopustna le v primerih iz drugega odstavka, ob ustreznih zaščitnih ukrepih. Kadar je odločitev potrebna za sklenitev ali izvajanje pogodbe ali temelji na izrecni privolitvi, mora upravljavec posamezniku zagotoviti vsaj možnost človekovega posredovanja, izražanja stališča in izpodbijanja odločitve.6
V smernicah Delovne skupine iz člena 29, ki jih je potrdil Evropski odbor za varstvo podatkov, je poudarjeno, da mora biti človekov pregled vsebinski, in ne zgolj formalen. Oseba, ki ga opravlja, mora upoštevati vse pomembne podatke, biti ustrezno usposobljena in imeti pooblastilo za spremembo odločitve.7 Če vidi le končni rezultat ali če se priporočilo sistema v praksi skoraj nikoli ne spremeni, je nadzor lahko zgolj navidezen.
Sodišče Evropske unije je v zadevi SCHUFA presodilo, da lahko avtomatizirana določitev verjetnostne vrednosti glede kreditne sposobnosti pomeni odločitev po 22. členu GDPR, kadar odločilno vpliva na ravnanje tretje osebe.8 Organizacija se zato ne more izogniti uporabi navedene določbe zgolj tako, da rezultat formalno opredeli kot priporočilo.
Z avtomatiziranim odločanjem je povezana pravica do informacij. GDPR zahteva smiselne informacije o uporabljeni logiki, pomenu in predvidenih posledicah obdelave.9 V zadevi Dun & Bradstreet Austria je Sodišče Evropske unije pojasnilo, da mora biti razlaga jedrnata, pregledna, razumljiva in dovolj konkretna, da posameznik lahko razume in preveri uporabo svojih podatkov.10 Sklicevanje na »interni model« ali »več meril« ne omogoča učinkovitega ugovora.
Varstvo poslovnih skrivnosti lahko vpliva na način razkritja, praviloma pa ne more upravičiti popolne zavrnitve uporabne razlage. Razkritje izvorne kode ali celotnega matematičnega modela ni potrebno; pojasniti pa je treba vlogo sistema, glavne kategorije podatkov, bistvene dejavnike rezultata in možnost človekove ponovne presoje.11
Posebno pravico do razlage določa tudi 86. člen Akta o UI. Če takšna pravica ni zagotovljena že z drugim pravom Unije, jo ima oseba, na katero se nanaša odločitev uvajalca, sprejeta na podlagi izhoda visoko tveganega sistema iz Priloge III, razen sistemov iz njene 2. točke. Odločitev mora imeti za to osebo pravne učinke ali nanjo podobno pomembno neugodno vplivati glede zdravja, varnosti ali temeljnih pravic. Razlaga mora biti jasna in smiselna ter zajeti vlogo sistema v postopku odločanja in glavne elemente sprejete odločitve. Ta pravica dopolnjuje pravice po GDPR, zato morajo biti pojasnila po obeh predpisih med seboj skladna in odražati dejansko vlogo sistema.
Mnogi sistemi UI ustvarijo oceno ali točkovno vrednost, organizacija pa določi prag, pri katerem se sproži opozorilo, dodatno preverjanje ali neugodna odločitev. Nižji prag omogoča zaznavo več dejanskih tveganj, vendar praviloma poveča število lažno pozitivnih rezultatov. Višji prag njihovo število zmanjša, vendar poveča nevarnost, da sistem tveganje spregleda.
Prag zato ni nevtralna tehnična nastavitev. Presojati ga je treba glede na namen sistema, varovani interes, verjetnost in težo posledic ter razpoložljive zaščitne ukrepe. Prag, primeren za usmerjanje trženjskih sporočil, ni nujno primeren za zavrnitev storitve, določitev cene ali označitev domnevne goljufije. Dokumentirani morajo biti razlogi za določitev in vsako spremembo praga, uporabljena merila, način njegovega preizkušanja ter spremljanje posledic za posameznike.
Akt o umetni inteligenci med visoko tvegane uvršča sisteme iz Priloge III, ki izpolnjujejo pogoje iz 6. člena. Za zavarovalništvo je posebej pomembna podtočka (c) 5. točke Priloge III, ki zajema sisteme za ocenjevanje tveganja in oblikovanje cen pri življenjskem in zdravstvenem zavarovanju fizičnih oseb.12 Druge uporabe UI v zavarovalništvu s tem niso samodejno uvrščene med visoko tvegane sisteme, vendar zanje lahko še vedno veljajo GDPR, sektorska zakonodaja in druga upoštevna pravila...
Nadaljevanje članka za naročnike >> Nastja Stošič: Lažno pozitivni rezultati pri avtomatiziranem odločanju: pravni pomen praga odločanja in dolžna skrbnost organizacije
>> ali na portalu Pravna Praksa, št. 28, 2026
>> Še niste naročnik? Preverite uporabniške pakete!
----------------------------------
Članki izražajo stališča avtorjev, in ne nujno organizacij, v katerih so zaposleni, ali uredništva portala IUS-INFO.
