Winston Smith nie wie, czy jest rok 1984. To jeden z pierwszych szczegółów powieści George’a Orwella i łatwo go przeoczyć. Data przecież znajduje się w tytule. Dla czytelnika jest oczywista, dla człowieka żyjącego w Oceanii już nie. Winston próbuje odtworzyć własną przeszłość i odkrywa, że bez zewnętrznych punktów odniesienia nawet chronologia jego życia zaczyna się rozpadać. Nie może po prostu zajrzeć do starej gazety, porównać wspomnienia z dokumentem albo zapytać kogoś, kto pamięta wydarzenia inaczej. Przeszłość istnieje tam, gdzie Partia pozwala jej istnieć. Dlatego zaczyna pisać dziennik.
Ten drobny szczegół zmienia sposób, w jaki można dziś czytać Rok 1984. Najbardziej znane symbole powieści — Wielki Brat, teleekran, Policja Myśli — kierują uwagę w stronę obserwacji i represji. Po ponad siedemdziesięciu latach od publikacji łatwo więc zestawiać teleekran ze smartfonem, Wielkiego Brata z masową inwigilacją, a Ministerstwo Prawdy z mediami czy sztuczną inteligencją. Takie porównania są efektowne, ale niewiele wyjaśniają. Współczesne społeczeństwa nie są Oceanią, a algorytm oceniający zdolność kredytową nie jest O’Brienem. Pod powierzchnią 1984 znajduje się jednak problem, który znacznie lepiej znosi upływ czasu: czy istnieje coś niezależnego od mechanizmu oceny, za pomocą czego możemy sprawdzić to, co mówi nam on o świecie — i o nas samych?
Fotografia, która nie powinna istnieć.
Winston znajduje fragment starego wydania „Timesa” ze zdjęciem Jonesa, Aaronsona i Rutherforda, dawnych działaczy Partii oskarżonych później o zdradę. Fotografia dokumentuje ich obecność w Nowym Jorku w czasie, kiedy według wymuszonych zeznań mieli znajdować się gdzie indziej. Dla Winstona ma ogromną wartość właśnie dlatego, że nie jest wspomnieniem. Jest materialnym śladem pozostawionym przez rzeczywistość. Winston wcześniej podejrzewał, że Partia kłamie; teraz może to sprawdzić. Pamięć może zawodzić, człowiek może coś źle zrozumieć, świadkowie mogą pamiętać to samo wydarzenie inaczej. Fotografia pozwala skonfrontować oficjalną wersję z czymś, co powstało niezależnie od niej.
A jednak Winston wrzuca ją do szczeliny pamięci, gdzie dokument zostaje zniszczony. Nie robi tego dlatego, że przestał rozumieć jego znaczenie, lecz dlatego, że żyje w świecie, w którym posiadanie takiego dowodu jest niebezpieczne. To istotny szczegół: władza nie musi własnoręcznie niszczyć każdego niewygodnego śladu. Może stworzyć warunki, w których człowiek zaczyna wykonywać część tej pracy sam. Późniejsze spotkanie z O’Brienem doprowadzi ten mechanizm jeszcze dalej — zakwestionowane zostanie już nie tylko istnienie dokumentu, ale zdolność Winstona do ufania własnej pamięci.
Orwell znał konflikt między doświadczeniem a oficjalnym zapisem z własnego życia. Po wojnie domowej w Hiszpanii pisał o relacjach, których nie potrafił pogodzić z tym, co sam widział, oraz o wydarzeniach, których był świadkiem, a które znikały z późniejszych przekazów. W eseju Looking Back on the Spanish War obawiał się świata, w którym po śmierci świadków pozostaną dokumenty, a wraz z nimi wersja historii utrwalona przez tych, którzy potrafili kontrolować zapis. Co szczególnie ciekawe, już wtedy — kilka lat przed napisaniem 1984 — pojawia się u niego przykład dwóch plus dwa równych pięć. Orwell nie twierdził przy tym, że istnieje jeden doskonały opis historii. Wiedział, że relacje są niepełne, ludzie stronniczy, a pamięć zawodna. Obawiał się czegoś innego: porzucenia przekonania, że wydarzenie istnieje niezależnie od tego, jak zostanie później opisane. W The Prevention of Literature wiązał totalitaryzm z ciągłą rekonstrukcją przeszłości i podważaniem idei obiektywnej prawdy.
Partia nie musi więc zmieniać rzeczywistości. Musi kontrolować drogi, którymi człowiek próbuje do niej dotrzeć.
Cztery palce O’Briena.
Dlatego słynne „2 + 2 = 5” łatwo odczytać zbyt płytko. O’Brien nie próbuje nauczyć Winstona nowej matematyki. Pokazuje mu cztery palce i żąda, aby zobaczył pięć. Winston może skłamać i powiedzieć „pięć”, ale to nie wystarcza. Partia nie chce człowieka, który zna prawdę i ze strachu powtarza kłamstwo. Chce człowieka, dla którego przestaje istnieć niezależne kryterium pozwalające powiedzieć Partii: mylisz się. Kiedy Winston wcześniej zapisuje, że wolność oznacza możliwość powiedzenia, iż dwa plus dwa daje cztery, sens tego zdania nie tkwi w arytmetyce. Cztery jest czymś, czego Partia nie powinna móc ustanowić decyzją.
Tutaj ujawnia się właściwa konstrukcja Oceanii. Partia produkuje informacje, przechowuje dokumenty, zmienia dokumenty, wpływa na język, usuwa świadków, a na końcu sama rozstrzyga, co jest prawdą. Nie istnieje skuteczna instancja odwoławcza. Jest jednak pewien paradoks: gdyby Partia naprawdę kontrolowała rzeczywistość, nie musiałaby bez końca jej poprawiać. Ministerstwo Prawdy istnieje właśnie dlatego, że przeszłość pozostawia ślady. Gazety trzeba przepisywać, dokumenty niszczyć, ludzi usuwać, język przebudowywać, wspomnienia podważać. Partia nie zwycięża rzeczywistości raz na zawsze. Musi bezustannie zamykać prowadzące do niej drogi. Zamknięcie nie jest stanem. Jest procesem.
Człowiek staje się dokumentem
Tutaj warto na chwilę opuścić Oceanię. Każda duża organizacja ma problem, którego nie da się rozwiązać poprzez osobiste poznanie wszystkich ludzi. Bank nie może spędzić miesiąca z każdym klientem przed udzieleniem kredytu. Firma zatrudniająca tysiące osób nie może przeprowadzić wielogodzinnej rozmowy z każdym kandydatem. Szpital, urząd, ubezpieczyciel i pracodawca potrzebują kategorii, formularzy, wyników i dokumentów. Złożony człowiek musi zostać w jakiś sposób uproszczony.
CV opisuje pracownika. Credit score ma opisywać ryzyko. KPI mierzy określony fragment pracy. Profil użytkownika powstaje z wybranych elementów jego zachowania. Żadna z tych rzeczy nie jest całym człowiekiem ani całą rzeczywistością, którą próbuje uchwycić. Nie wynika z tego jeszcze nic dystopijnego. Bez takich uproszczeń skomplikowane społeczeństwo prawdopodobnie nie byłoby w stanie funkcjonować. Człowiek również upraszcza innych ludzi, a jego osąd może być stronniczy, niespójny albo zwyczajnie błędny. Problemem nie jest reprezentacja. Problemem jest zapomnienie, że to reprezentacja.
Niedawno zetknąłem się z banalnym przykładem tego napięcia podczas wewnętrznej rekrutacji. Formalna ocena aplikacji opierała się między innymi na zapisanym wymaganiu dotyczącym doświadczenia. Osoba prowadząca proces nie znała jednak mojej codziennej pracy tak jak ludzie znajdujący się bezpośrednio przy produkcji i właśnie do nich skierowała mnie w sprawie możliwości objęcia stanowiska. Nie wiem, czy pierwsza decyzja była błędna i nie znam wszystkich jej przesłanek. Interesujące jest coś innego: dokument i bezpośrednie doświadczenie ludzi pracujących ze mną były dwoma źródłami wiedzy o tej samej osobie. Jedno mogło uzupełnić drugie.
To nie jest przykład Oceanii. Jest właściwie przykładem przeciwieństwa mechanizmu z powieści: istnieje możliwość dodania informacji, której pierwotny obraz nie zawierał. I właśnie ta możliwość może okazać się ważniejsza niż pytanie, czy pierwszej oceny dokonał człowiek, algorytm albo jedno i drugie.
Kiedy zaczynamy pisać siebie dla systemu.
Sprawa komplikuje się, kiedy od tego obrazu zaczyna zależeć przyszłość człowieka. Xin Zhan z University of Cambridge przez dwa lata prowadziła badania etnograficzne nad poszukiwaniem pracy w środowisku rekrutacji wykorzystującym między innymi systemy ATS wspomagane przez AI. Opisuje zjawisko nazwane calibration labour: kandydaci przebudowywali CV, chronologię doświadczenia i sposób opowiadania własnej historii zawodowej, próbując stać się czytelnymi dla kryteriów infrastruktury rekrutacyjnej. To badanie jakościowe dotyczące określonego środowiska, więc nie pozwala twierdzić, że każdy kandydat zachowuje się w ten sposób. Pokazuje jednak ciekawą zmianę perspektywy. Pytanie „czy potrafię wykonywać tę pracę?” może zostać uzupełnione przez inne: „jak mam przedstawić siebie, żeby mechanizm selekcji rozpoznał mnie jako osobę, która potrafi ją wykonywać?”
CV zawsze było formą selektywnej autoprezentacji. Nowość nie polega więc na tym, że człowiek przedstawia się pod ocenę. Ciekawsze jest to, że może próbować przewidywać sposób odczytania własnej biografii przez infrastrukturę, której kryteriów dokładnie nie zna. Hatim Rahman przez ponad trzy lata badał pracowników platformy pracy poddawanych nieprzejrzystej ocenie algorytmicznej. Wiedzieli, że wynik ma wpływ na ich możliwości, ale nie znali dokładnie kryteriów. Próbowali więc dostosowywać zachowanie, odgadując reguły mechanizmu. Rahman nazwał tę sytuację „niewidzialną klatką”.
To interesująco odwraca Orwella. Winston doskonale wie, czego oczekuje Partia. Współczesny pracownik może wiedzieć jedynie, że jest oceniany, a następnie próbować odtworzyć regułę na podstawie konsekwencji. Do wpływania na zachowanie nie zawsze potrzebny jest ktoś, kto wydaje polecenie. Czasami wystarczy wynik mający realne znaczenie i człowiek próbujący nauczyć się zasad, które do niego prowadzą.
Kiedy obraz wraca do człowieka.
Tutaj pojawia się jeszcze ciekawsza możliwość. Ocena nie tylko opisuje człowieka. Może do niego wrócić i wpłynąć na jego kolejne decyzje. Moshe Glickman i Tali Sharot przeprowadzili serię eksperymentów obejmujących łącznie 1401 uczestników. Wykazali sprzężenie zwrotne, w którym interakcja z obciążonym błędem AI mogła przesuwać późniejsze ludzkie oceny w kierunku błędu systemu. Uczestnicy często nie doceniali skali wpływu AI na własny osąd.
Łatwo zrobić z tego dystopijny nagłówek: „AI zmienia sposób, w jaki myślimy”. Byłoby to jednak zbyt dalekie uproszczenie. Badanie dotyczyło konkretnych osądów percepcyjnych, emocjonalnych i społecznych, a nie trwałej przebudowy osobowości czy tożsamości. Co więcej, autorzy pokazali również korzystną stronę sprzężenia: odpowiednio trafne AI może poprawiać ludzkie osądy. Jeśli urządzenie pokazuje mi błąd, którego wcześniej nie dostrzegałem, mogę go skorygować. Jeśli system jakości ujawnia powtarzający się problem, pracownik może zmienić sposób pracy. Jeśli model dostrzega zależność przeoczoną przez człowieka, może rozszerzyć jego wiedzę zamiast ją ograniczyć.
Sprzężenie zwrotne nie jest więc z natury złe. Nie wystarczy zapytać, czy system wpływa na człowieka, bo oczywiście wpływa — podobnie jak ludzie wpływają na siebie nawzajem. Ważniejsze jest to, czy istnieje możliwość sprawdzenia, skorygowania i odrzucenia jego oceny. Jeszcze ważniejsze może być pytanie, kto ustalił cel, według którego ta ocena jest dokonywana.
System otwarty i system zamknięty.
Wyobraźmy sobie dwa przypadki. W pierwszym otrzymuję wynik X. Mogę dowiedzieć się, jakie dane wykorzystano, poznać kryterium, przedstawić brakujący kontekst, porównać ocenę z innym źródłem albo poprosić człowieka o ponowne rozpatrzenie sprawy. W drugim również otrzymuję X, ale kiedy pytam dlaczego, odpowiedź sprowadza się do tego, że X wynika z mechanizmu, którego nie mogę skutecznie zakwestionować.
Granica nie przebiega więc prosto między człowiekiem a maszyną. Człowiek może podejmować arbitralne decyzje, a algorytm może pomagać je korygować. Znacznie ciekawsza granica przebiega między środowiskiem, którego oceny można sprawdzać i kwestionować, a takim, które staje się jednocześnie źródłem informacji, ich interpretatorem i ostatecznym sędzią.
Podobny problem pojawia się dziś w prawie. 27 lutego 2025 roku Trybunał Sprawiedliwości Unii Europejskiej wydał wyrok w sprawie C-203/22 dotyczącej zautomatyzowanej oceny zdolności kredytowej. Austriacki operator telefonii komórkowej odmówił klientce zawarcia umowy, opierając się na automatycznym scoringu przygotowanym przez Dun & Bradstreet Austria. Trybunał uznał, że osoba, której dane dotyczą, ma prawo do wyjaśnienia pozwalającego jej zrozumieć procedurę i zasady prowadzące do wyniku oraz skutecznie go zakwestionować.
Nie oznacza to, że europejskie prawo rozwiązało problem automatycznych ocen. Między formalnym prawem a możliwością skutecznego skorzystania z niego może istnieć duża różnica. Istotna jest sama zasada: człowiek powinien mieć możliwość odpowiedzenia na obraz, który stworzył o nim system. Winston jej nie ma.
Winston nie jest tylko ofiarą.
Jest jeszcze jeden powód, dla którego 1984 nie powinno być czytane wyłącznie jako opowieść o potężnej władzy i bezbronnym człowieku. Winston dla niej pracuje. W Ministerstwie Prawdy poprawia stare informacje, usuwa sprzeczności, a w pewnym momencie tworzy biografię towarzysza Ogilvy’ego — człowieka, który nigdy nie istniał. Fikcja zostaje włączona do oficjalnego zapisu i dla kogoś innego może później stać się materiałem opisującym przeszłość. Winston jest jednocześnie człowiekiem poszukującym prawdy i pracownikiem infrastruktury produkującej jej oficjalną wersję.
To niewygodny element książki, bo odbiera czytelnikowi bezpieczną pozycję zewnętrznego obserwatora. Nie trzeba pracować w Ministerstwie Prawdy, żeby znaleźć się wewnątrz podobnej pętli. Współczesne systemy informacyjne powstają również z naszych kliknięć, ocen, tekstów, zdjęć, decyzji i zachowań. Później ich wyniki wracają do nas jako rankingi, rekomendacje, profile, modele i odpowiedzi. My współtworzymy obraz świata, a później ten obraz wpływa na nasze kolejne działania.
Nie oznacza to, że współczesna platforma jest Ministerstwem Prawdy. Właśnie w tym miejscu analogię trzeba zatrzymać. Badanie OECD dotyczące ponad 6000 firm w sześciu krajach — Francji, Niemczech, Włoszech, Japonii, Hiszpanii i Stanach Zjednoczonych — oparto na odpowiedziach ponad 6000 menedżerów średniego szczebla. Wśród badanych firm narzędzia algorithmic management były już szeroko stosowane. 60 procent korzystających z nich menedżerów uważało, że poprawiają jakość ich decyzji. Jednocześnie prawie dwie trzecie użytkowników zgłaszało co najmniej jedną obawę dotyczącą ich wpływu na pracowników. Wśród problemów pojawiały się między innymi niejasna odpowiedzialność za błędną decyzję, trudność prześledzenia logiki narzędzia oraz niewystarczająca ochrona zdrowia fizycznego i psychicznego pracowników.
Nie dostajemy więc prostego obrazu technologii dobrej albo złej. Może utrudniać zakwestionowanie decyzji, ale może również dostarczyć informacji pozwalającej zakwestionować człowieka. Sam fakt wykorzystania algorytmu nie mówi jeszcze, po której stronie tej granicy znajduje się konkretny przypadek.
Nie żyjemy w Oceanii.
To rozróżnienie jest konieczne, bo 1984 stało się metaforą tak skuteczną, że czasami przeszkadza zobaczyć współczesność. W Oceanii władza jest skoncentrowana. Partia ma określony cel. O’Brien wie, czego chce od Winstona. System polityczny próbuje objąć całego człowieka. Współczesność jest bardziej rozproszona. Pracodawca może mierzyć wydajność, bank ocenia ryzyko, platforma optymalizuje rekomendacje, wyszukiwarka porządkuje informacje, ubezpieczyciel szacuje prawdopodobieństwo szkody, a AI odpowiada na pytanie. Cele tych mechanizmów są różne, czasami sprzeczne, a jeden może dostarczyć informacji pozwalających zakwestionować drugi.
Nie ma jednego Wielkiego Brata. Być może właśnie dlatego pytanie „czy żyjemy już w 1984?” jest mało użyteczne. Znacznie ciekawsze brzmi: które fragmenty naszych systemów pozostają otwarte, a które zaczynają się domykać? Czy wiem, że jestem oceniany? Czy znam kryterium? Czy mogę zobaczyć dane? Czy istnieje drugie źródło informacji? Czy mogę dodać kontekst? Czy ktoś ponosi odpowiedzialność za wynik? Czy mogę zakwestionować decyzję? Czy mogę odmówić?
Do tego dochodzi jeszcze koszt odmowy. Formalna możliwość powiedzenia „nie” niewiele znaczy, jeśli jej ceną jest utrata pracy, dostępu do usługi albo możliwości uczestnictwa w życiu społecznym. Autonomia nie polega więc na życiu poza wszelkim wpływem. Taki człowiek prawdopodobnie nigdy nie istniał. Nasze wartości, język, aspiracje i sposoby widzenia siebie zawsze powstają również w relacji z innymi. Znacznie ważniejsza może być możliwość rozpoznania wpływu, sprawdzenia go, zakwestionowania i — przynajmniej czasami — powiedzenia mu „nie”.
Kartka Winstona.
Wróćmy do początku. Winston siedzi z piórem nad pustą kartką. Nie jest pewien daty, nie wie, czy ktokolwiek przeczyta jego słowa, i nie może być całkowicie pewny własnej pamięci. Mimo to pisze. Dziennik można odczytać jako akt buntu przeciwko Partii, ale jest również próbą stworzenia śladu poza własną głową. Zapisu, który mógłby kiedyś stać się dla kogoś tym, czym dla niego była fotografia Jonesa, Aaronsona i Rutherforda: punktem odniesienia pozwalającym porównać oficjalną wersję z czymś, czego władza jeszcze nie zdążyła zmienić.
W tym sensie najbardziej przerażającą cechą Oceanii nie jest wszechobecny teleekran. Jest nią świat, w którym coraz trudniej znaleźć miejsce, z którego można powiedzieć: „sprawdziłem. To się nie zgadza”. I być może właśnie dlatego Rok 1984 pozostaje interesujący w świecie algorytmów, scoringu i sztucznej inteligencji. Nie dlatego, że Orwell je przewidział. Nie przewidział. Dał nam jednak pytanie, które możemy zadać także im: co pozostaje poza systemem, czym możemy sprawdzić system?
A kiedy system zaczyna opisywać nie tylko świat, lecz również nas samych, pytanie staje się jeszcze bardziej osobiste: czym mogę sprawdzić to, co system mówi mi o mnie?
Czasem taki punkt odniesienia pojawia się w zupełnie nieoczekiwanym miejscu. W Logroño wystarczyło na sześć dni zmienić sposób korzystania z ronda, żeby coś, co wyglądało jak naturalna funkcja miejsca, okazało się tylko jedną z możliwości. Zobacz: „Przez sześć dni można było wejść do środka ronda”
Źródła i dalsza lektura.
George Orwell, „Rok 1984”, tłum. Julia Fiedorczuk, Wolne Lektury
Polski tekst powieści wykorzystany do analizy scen z Winstonem, fotografią, Ministerstwem Prawdy i O’Brienem.
https://wolnelektury.pl/katalog/lektura/orwell-rok-1984/
George Orwell, „Looking Back on the Spanish War”, The Orwell Foundation
Doświadczenia Orwella z wojny domowej w Hiszpanii oraz jego wcześniejsze rozważania o faktach, historii i możliwości ustanowienia „2 + 2 = 5”.
George Orwell, „The Prevention of Literature”, The Orwell Foundation
O totalitaryzmie, przepisywaniu przeszłości i idei obiektywnej prawdy.
Xin Zhan, „Calibration labour: making careers machine-legible under algorithmic hiring”, „Information, Communication & Society”, 2026
Dwuletnie badanie etnograficzne dotyczące dostosowywania biografii zawodowych do infrastruktury algorytmicznej rekrutacji.
https://doi.org/10.1080/1369118X.2026.2715575
Hatim A. Rahman, „The Invisible Cage: Workers’ Reactivity to Opaque Algorithmic Evaluations”, „Administrative Science Quarterly”, 2021
Ponad trzyletnie badanie reakcji pracowników platformowych na nieprzejrzystą ocenę algorytmiczną.
https://doi.org/10.1177/00018392211010118
Moshe Glickman, Tali Sharot, „How human–AI feedback loops alter human perceptual, emotional and social judgements”, „Nature Human Behaviour”, 2025
Eksperymenty obejmujące 1401 uczestników dotyczące sprzężenia zwrotnego między ocenami AI i późniejszymi osądami ludzi.
https://doi.org/10.1038/s41562-024-02077-2
OECD, „Algorithmic management in the workplace: New evidence from an OECD employer survey”, 2025
Badanie wykorzystania algorithmic management, jego potencjalnych korzyści oraz problemów w ponad 6000 firm w sześciu państwach.
https://doi.org/10.1787/287c13c4-en
Trybunał Sprawiedliwości Unii Europejskiej, C-203/22, Dun & Bradstreet Austria, 27 lutego 2025
Wyrok dotyczący wyjaśniania zautomatyzowanych decyzji w sposób pozwalający osobie, której dotyczą, zrozumieć i zakwestionować ich wynik.
https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022pl.pdf