Algorytm wskazuje podejrzanego. System ocenia pracownika. Platforma wybiera odbiorców. Gdzieś na końcu nadal znajduje się człowiek — urzędnik, menedżer, moderator. Tylko czy sama jego obecność wystarcza, żeby powiedzieć, że to on naprawdę zdecydował? Holenderski skandal zasiłkowy, spory kierowców Ubera i fałszywe reklamy wykorzystujące wizerunek Rafała Brzoski pokazują trzy różne sposoby, w jakie część władzy może zostać przeniesiona do technologicznej infrastruktury. I właśnie tutaj RoboCop okazuje się znacznie ciekawszy niż opowieści o sztucznej inteligencji, która pewnego dnia zbuntuje się przeciwko człowiekowi.
Człowiek nadal siedział przy biurku.
W 2013 roku holenderska administracja podatkowa zaczęła wykorzystywać system profilowania ryzyka przy kontroli świadczeń na opiekę nad dziećmi. Miał pomagać wychwytywać wnioski, które mogły zawierać błędy albo wskazywać na potencjalne oszustwo. Jednym z czynników wpływających na ocenę była narodowość. Według raportu Amnesty International osoby nieposiadające holenderskiego obywatelstwa otrzymywały wyższe wyniki ryzyka. Organizacja uznała ten mechanizm za dyskryminujący i prowadzący do profilowania etnicznego.
Ważne jest jednak to, czego system nie robił. Wysoki wynik ryzyka nie był automatycznym wyrokiem komputera. Osobę wskazaną przez model miał następnie sprawdzić urzędnik. Na pierwszy rzut oka właśnie tak powinien wyglądać rozsądny model automatyzacji: maszyna pomaga, człowiek kontroluje. Problem polegał na tym, że według Amnesty urzędnik prowadzący ręczną kontrolę nie otrzymywał informacji pozwalających zrozumieć, dlaczego system przyznał danej osobie wysoki wynik. Człowiek pozostawał więc w procesie, ale nie zaczynał od pustej kartki. Zaczynał od informacji, że osoba przed nim została już zakwalifikowana jako przypadek podwyższonego ryzyka. Formalna decyzja nadal należała do człowieka, ale jego uwaga została wcześniej skierowana przez system profilowania.
Władza zaczyna się przed decyzją.
Holenderski przypadek był częścią znacznie większego skandalu i błędem byłoby sprowadzenie go do historii o „złym algorytmie”. Działały tu również restrykcyjne przepisy, polityka zwalczania nadużyć, procedury administracyjne oraz decyzje ludzi. Algorytm nie stworzył całego mechanizmu. Został w niego wbudowany. Konsekwencje ponosili jednak konkretni ludzie. W 2025 roku sam holenderski rząd przyznał, że niesprawiedliwe roszczenia administracji podatkowej prowadziły w wielu przypadkach do zadłużenia, biedy i stresu, które powodowały lub pogłębiały problemy rodzinne.
Między wynikiem ryzyka pojawiającym się na ekranie a życiem rodziny znajduje się więc cały łańcuch: dane, model, urzędnik, procedura, instytucja i prawo. Pytanie o odpowiedzialność staje się trudniejsze, ponieważ władza nad człowiekiem nie zaczyna się dopiero w chwili wydania ostatecznego werdyktu. Można wpływać na decyzję wcześniej — wybierając informacje, które zobaczy decydent, wskazując przypadki wymagające szczególnej uwagi albo szeregując ludzi według przewidywanego ryzyka. Człowiek nadal wybiera, ale część świata, z którego wybiera, została przygotowana wcześniej.
Kiedy szef staje się aplikacją.
W gospodarce platformowej ten problem przyjmuje inną postać. Kierowca Ubera nie potrzebuje przełożonego siedzącego obok niego w samochodzie. Aplikacja może przydzielać przejazdy, zbierać dane, oceniać zachowanie kierowcy i uruchamiać kolejne procesy związane z jego pracą. Kilku kierowców postanowiło sprawdzić, jak daleko sięga taka automatyzacja. Spór dotyczący Ubera i Oli trafił przed holenderskie sądy.
W kwietniu 2023 roku Sąd Apelacyjny w Amsterdamie stwierdził, że część badanych decyzji była podejmowana w pełni automatycznie, bez interwencji człowieka, i miała istotny wpływ na kierowców. Sprawy dotyczyły między innymi podejrzeń oszustwa, dezaktywacji kont, przydzielania przejazdów oraz wewnętrznych scoringów. Sąd nakazał platformom przekazać kierowcom informacje pozwalające zrozumieć podstawy takich decyzji.
Nie znaczy to, że „Uberem rządzi AI”. Takie zdanie byłoby efektowne, ale niewiele by wyjaśniało. Ważniejsze jest coś mniej widowiskowego: część funkcji, które tradycyjnie kojarzymy z zarządzaniem ludźmi, może zostać przeniesiona do oprogramowania. Nie trzeba zastępować kierowcy autonomicznym samochodem, żeby technologia zaczęła zmieniać jego pracę. Można wcześniej zautomatyzować środowisko, w którym tę pracę wykonuje.
Nie trzeba zastąpić pracownika.
Debata o sztucznej inteligencji często koncentruje się na pytaniu, jakie zawody znikną. To ważne pytanie, ale może przesłaniać zmianę mniej spektakularną. Technologia nie musi zastąpić pracownika. Może przejąć część relacji pomiędzy pracownikiem a organizacją. Nie trzeba automatyzować zawodu kierowcy, żeby automatyzować przydzielanie mu pracy. Nie trzeba zastępować menedżera jednym superinteligentnym systemem, żeby oprogramowanie zaczęło mierzyć wydajność, ustalać priorytety, klasyfikować pracowników albo uruchamiać określone procedury. Szef nie musi zniknąć. Część jego funkcji może rozpłynąć się w interfejsie, regulaminie, danych, wskaźnikach i automatycznych procesach.
Dla człowieka znajdującego się wewnątrz takiego środowiska pojawia się jeszcze jedna zmiana. Wynik systemu może przestać wyglądać jak czyjaś opinia, a zacząć wyglądać jak fakt. Zamiast pytać: „dlaczego zostałem oceniony właśnie tak?”, człowiek zaczyna pytać: „co zrobić, żeby poprawić wynik?”. Różnica jest niewielka tylko pozornie. W pierwszym przypadku wynik nadal podlega ocenie. W drugim staje się elementem rzeczywistości, do której należy się dostosować.
Oszust stworzył reklamę. Kto stworzył jej zasięg?
W 2024 roku Rafał Brzoska znalazł się po drugiej stronie jeszcze innego rodzaju systemu. Na Facebooku i Instagramie pojawiały się reklamy wykorzystujące jego dane i wizerunek. Jedna z nich zawierała zmodyfikowane nagranie sugerujące, że prezes InPostu stworzył platformę inwestycyjną zapewniającą Polakom zyski. Brzoska zgłosił problem Mecie 3 lipca 2024 roku. W sierpniu prezes Urzędu Ochrony Danych Osobowych zastosował środek tymczasowy nakazujący Meta Platforms Ireland wstrzymanie na trzy miesiące wyświetlania w Polsce określonych fałszywych reklam wykorzystujących jego dane.
To zupełnie inny przypadek niż holenderskie świadczenia czy zarządzanie kierowcami Ubera. I właśnie dlatego jest użyteczny. Oszust pozostaje odpowiedzialny za stworzenie oszustwa. Algorytm nie wymyślił za niego zamiaru wykorzystania cudzego wizerunku. Ale stworzenie treści i jej dotarcie do odbiorcy to dwie różne rzeczy. Pomiędzy nimi znajduje się infrastruktura platformy.
Ktoś tworzy reklamę i za nią płaci. Platforma udostępnia system reklamowy. System reklamowy uczestniczy w doborze odbiorców i dystrybucji reklamy. Inne mechanizmy mają wykrywać naruszenia, użytkownicy mogą je zgłaszać, a firma ustala zasady, według których wszystkie te elementy funkcjonują. Algorytm nie musi być sprawcą, żeby stać się wzmacniaczem działania sprawcy.
Selekcja, zarządzanie, dystrybucja.
Te trzy historie nie opisują jednego zjawiska. Wrzucenie ich do wspólnego worka pod nazwą „sztuczna inteligencja” raczej zaciemniłoby problem niż go wyjaśniło. W Holandii system pomagał selekcjonować ludzi, którym administracja miała przyjrzeć się dokładniej. W przypadku Ubera automatyzacja mogła podejmować decyzje i organizować część środowiska pracy osób funkcjonujących na platformie. W systemie reklamowym Mety algorytmy uczestniczą w dystrybucji treści i uwagi na ogromną skalę. Mamy więc trzy różne funkcje: selekcję, zarządzanie i dystrybucję.
Żaden z tych mechanizmów nie wymaga świadomej maszyny. Nie potrzebujemy AGI, humanoidalnego robota ani komputera, który pewnego dnia postanowi przejąć władzę nad światem. Wystarczy system wystarczająco ważny, żeby ludzie i instytucje zaczęli organizować działania wokół jego wyników. To przesuwa pytanie o odpowiedzialność w ciekawsze miejsce. Nie wystarczy już zapytać, kto nacisnął ostatni przycisk. Trzeba również zapytać, kto zaprojektował sytuację, w której ten przycisk został naciśnięty.
Murphy nie musi dostać rozkazu.
W tym miejscu RoboCop przestaje być ozdobnikiem artykułu. Alex Murphy zostaje zamieniony przez OCP w produkt. Jego ciało, wyposażenie i możliwości działania podporządkowano systemowi stworzonemu przez korporację. Najbardziej interesujące ograniczenie ujawnia się jednak wtedy, gdy próbuje wystąpić przeciwko Dickowi Jonesowi, jednemu z ludzi stojących wysoko w strukturze OCP. Dyrektywa 4 nie musi przekonywać Murphy'ego, że Jones jest niewinny. Nie musi nawet wydawać mu rozkazu w tradycyjnym znaczeniu. Po prostu ogranicza to, co Murphy może zrobić.
To istotne rozróżnienie. Kontrola nie musi zmieniać naszych przekonań. Czasami wystarczy, że zmieni przestrzeń dostępnych działań. Nie ma sensu pisać, że RoboCop przewidział Ubera, algorytmy administracji publicznej albo Facebooka. Film z 1987 roku nie jest instrukcją obsługi XXI wieku. Pozwala jednak zobaczyć mechanizm, który łatwo przeoczyć, gdy patrzymy wyłącznie na technologię: władza nie zawsze przychodzi w postaci człowieka wydającego rozkaz. Może zostać wpisana w reguły systemu.
Najwygodniejszy człowiek w pętli.
W odpowiedzi na obawy dotyczące automatyzacji często pojawia się rozsądnie brzmiące rozwiązanie: pozostawmy człowieka w procesie. Tylko że sama obecność człowieka niczego jeszcze nie gwarantuje. Może mieć rzeczywistą możliwość zakwestionowania wyniku systemu, dostęp do potrzebnych informacji, odpowiedni czas i kompetencje. Może też jedynie wykonywać następny krok procedury przygotowanej wcześniej przez system. W obu przypadkach na diagramie można narysować dokładnie taki sam prostokąt z napisem „CZŁOWIEK”.
Dlatego nie wystarczy zapytać, czy człowiek uczestniczył w decyzji. Trzeba zapytać, jaką miał władzę. Czy znał podstawy rekomendacji? Czy mógł ją zakwestionować? Czy posiadał informacje pozwalające ocenić ją niezależnie? Czy mógł podjąć inną decyzję, czy w praktyce oznaczałoby to walkę z procedurą i organizacją, której sam jest częścią? Dopiero odpowiedzi na te pytania mówią nam, czy obecność człowieka rzeczywiście coś znaczy.
Jest tu jeszcze jedna niewygodna możliwość. Człowiek nie musi być wyłącznie ofiarą systemu. Może jednocześnie go podtrzymywać. Urzędnik korzysta z wyniku, menedżer ze wskaźnika, kierowca próbuje zoptymalizować swoje zachowanie pod aplikację, użytkownik zgłasza treści według kategorii przygotowanych przez platformę. Każdy może zachowywać się racjonalnie ze swojej perspektywy, a suma tych działań sprawia, że system staje się coraz bardziej naturalnym elementem rzeczywistości. Obserwator okazuje się częścią mechanizmu, który próbuje zrozumieć.
Kto właściwie zdecydował?
Science fiction przyzwyczaiło nas do bardzo czytelnego momentu przejęcia kontroli. Maszyna staje się inteligentna, odmawia wykonania rozkazu albo zwraca się przeciwko swojemu twórcy. W rzeczywistości granica może być znacznie mniej widowiskowa. Algorytm wskazuje człowieka wymagającego kontroli, urzędnik prowadzi postępowanie, system ocenia kierowcę, firma ustala zasady jego działania, platforma rozdziela informacje pomiędzy miliony odbiorców, programista tworzy fragment infrastruktury, a menedżer patrzy na wskaźniki. Każdy wykonuje swoją część procesu.
Nie oznacza to, że odpowiedzialność znika. Przeciwnie. Uznanie systemu za samodzielnego sprawcę mogłoby stać się najwygodniejszym sposobem uwolnienia od odpowiedzialności ludzi i organizacji, które go zaprojektowały, wdrożyły i wykorzystują. Dlatego odpowiedzialności nie powinniśmy szukać wyłącznie przy ostatnim ogniwie. Człowiek może nadal siedzieć przy biurku, mieć nazwisko pod decyzją i naciskać ostatni przycisk. To jednak nie odpowiada jeszcze na pytanie, ile elementów tej decyzji zostało ustalonych wcześniej.
A jeśli to dopiero początek?
Dzisiejsze systemy potrafią wskazać człowieka do kontroli, ocenić pracownika, zdecydować o dostępie do platformy albo wybrać, jakie treści zobaczą miliony odbiorców. Nie trzeba więc czekać na sztuczną inteligencję zdolną samodzielnie zarządzać firmą, urzędem czy miastem. Znacznie bardziej prawdopodobna jest przyszłość budowana po kawałku: coraz więcej elementów decyzji będzie filtrowanych, porządkowanych i rekomendowanych przez systemy, podczas gdy człowiek formalnie pozostanie na swoim miejscu.
Nie musi być w tym nic złego. Automatyzacja może przyspieszać pracę, dostrzegać wzorce trudne do zauważenia przez człowieka i pomagać podejmować lepsze decyzje. Problem zaczyna się wtedy, gdy skuteczność narzędzia zaczyna być traktowana jak dowód jego nieomylności, a sama obecność człowieka staje się wystarczającym alibi dla całego procesu. Im więcej elementów decyzji rozłożymy pomiędzy modele, dane, procedury, pracowników i organizacje, tym łatwiej każdemu uczestnikowi wskazać następne ogniwo. Człowiek może powiedzieć, że zaufał systemowi, firma — że człowiek miał ostatnie słowo, a twórca systemu — że tylko dostarczył narzędzie. Sam algorytm nie jest natomiast kimś, kogo można pociągnąć do odpowiedzialności moralnej.
Być może dlatego pytanie o przyszłość nie brzmi: czy maszyny będą podejmować decyzje za nas? To zakłada moment przejęcia kontroli, który może nigdy nie nadejść w tak czytelnej formie. Ciekawsze i trudniejsze jest inne pytanie: czy zauważymy moment, w którym nadal będziemy podejmować decyzje — ale coraz rzadziej będziemy decydować o warunkach, w których je podejmujemy?
Ten tekst jest częścią ścieżki: Człowiek i system
Od własności człowieka przez procedury i systemy decyzyjne aż po pytanie o możliwość niezależnej oceny rzeczywistości.
Źródła i dalsza lektura.
Amnesty International — „Xenophobic Machines: Discrimination through Unregulated Use of Algorithms in the Dutch Childcare Benefits Scandal”
Raport analizujący profilowanie ryzyka stosowane przez holenderską administrację i jego dyskryminujące konsekwencje.
https://www.amnesty.org/en/documents/eur35/4686/2021/en/
Amnesty International — „Dutch childcare benefit scandal an urgent wake-up call to ban racist algorithms”
Omówienie systemu, w tym problemu ręcznej kontroli następującej po wcześniejszym wskazaniu osób przez model ryzyka.
https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/
Government of the Netherlands — „Government acknowledges additional suffering of children placed in care”
Oficjalny komunikato holenderskiego rządu z 2025 roku dotyczący konsekwencji afery dla rodzin i dzieci.
Rechtspraak — Amsterdam Court of Appeal: Uber i Ola
Oficjalne podsumowanie orzeczeń dotyczących automatycznych decyzji oraz prawa kierowców do informacji o ich podstawach.
https://www.rechtspraak.nl/organisatie-en-contact/organisatie/gerechtshoven/gerechtshof-amsterdam/nieuws/2023/04/uber-en-ola-cabs-moeten-londense-taxichauffeurs-beter-informeren-over-automatische-besluiten
Urząd Ochrony Danych Osobowych — sprawa Rafała Brzoski
Oficjalny komunikat dotyczący fałszywych reklam i środka tymczasowego zastosowanego wobec Meta Platforms Ireland.