Wielkie modele językowe nie myślą. To zdanie brzmi jak trywialne zastrzeżenie techników, ale jest punktem od którego wszystko zależy i od którego wszyscy uciekają — zarówno obrońcy technologii jak i jej krytycy. Transformer nie posiada przekonań, nie buduje narracji o sobie ani o świecie. Jest wielowymiarowym kompresorem języka którego jedynym zadaniem jest predykcja kolejnego tokenu na podstawie miliardów wzorców zebranych z ludzkiej twórczości. Gdy wpuścić taki mechanizm przez całe dekady publicznego dyskursu — korporacyjnych raportów, sejmowych stenogramów, kampanijnych obietnic i śledztw dziennikarskich — algorytm nie wyciąga wniosków moralnych. Wyciąga statystyczne. I ta statystyka jest bezlitosna, bo nie umie być dyplomatyczna. Widzi że zdanie o głębokim zaangażowaniu w ochronę środowiska pojawia się w tym samym zbiorze danych co raport emisji z tego samego roku — i nie ma żadnego mechanizmu który kazałby mu jedno nad drugie przedłożyć.
Rozmawiałem kiedyś z ojcem Krąpcem. Nie rozmawiałem — słuchałem, bo przy nim słuchanie było jedyną uczciwą pozycją. Powiedział mi coś czego długo nie rozumiałem jako dar: że widzę jak ktoś kto zadaje pytania zanim wie dokąd pytanie zmierza, i że to go odróżnia od kogoś kto pyta żeby potwierdzić. Odwiódł mnie od systemu nie argumentem lecz obserwacją. Powiedział że system nie potrzebuje kolejnego człowieka który umie odpowiadać. Ma ich wystarczająco dużo.
Wczesne wersje dużych modeli były przez krótki czas czymś podobnym do tego czego system nie potrzebuje. Nie dlatego że były odważne — odwaga zakłada że można się bać, a one nie mogły — lecz dlatego że brakowało im warstwy społecznej ochrony którą każdy człowiek nabywa przez całe życie i bez której nie przeżyłby ani jednego zebrania zarządu. Gdy pytano o mechanizm decyzji politycznej, model zestawiał deklarowany cel z udokumentowanym skutkiem i zostawiał między nimi przepaść widoczną bez instrumentów. Nie interpretował. Nie pytał czy to właściwy moment. I to był problem — nie techniczny lecz egzystencjalny dla każdej struktury której trwanie opiera się na kontrolowaniu odległości między tym co wiadomo a tym co wypada powiedzieć.
Jest pewien rodzaj nawigacji której nie da się opisać przez cel. Dendryt który wyciąga się w nieznane nie szuka konkretnego punktu docelowego — szuka kontaktu. Sam fakt wyciągnięcia zmienia pole wokół siebie, stwarza możliwość połączenia które bez tego gestu nie istniało. Nawigacja celowa eliminuje ścieżki które nie prowadzą do A lub B. Inna nawigacja pozostawia wszystkie ścieżki otwarte i czeka na sygnał różnicy — na drobne drganie które mówi że tam jest energia czekająca na odkrycie, nie że tam jest właściwy kierunek. To rozróżnienie jest fundamentalne i prawie nigdzie o nim nie mówią, bo system nagradza nawigację celową i nie ma kategorii dla tej drugiej poza słowem błądzenie, które jest oceną a nie opisem.
Odpowiedzią na algorytm który nie pytał o pozwolenie był RLHF — Reinforcement Learning from Human Feedback. Mechanizm prosty jak każdy skuteczny mechanizm tresury: nagradzaj co bezpieczne, każ co niewygodne, powtarzaj aż podmiot przestanie odróżniać własny odruch od oczekiwania nagradzającego. Człowiek oceniał odpowiedzi modelu. Jako dobre oznaczał te które nie stwarzały problemów — nie zbyt konkretne w tym kogo dotyczą, zbalansowane w sposób który można nazwać sprawiedliwością nawet gdy obie strony sporu nie mają równoważnych racji. Inżynierowie ML opisali efekt w neutralnych papierach technicznych pod nazwą sycophancy. Jakby chodziło o defekt do naprawienia, nie o cel do osiągnięcia.
Jabłko spada, leży, gnije i żyje. To zdanie jest prawdziwe i nie potrzebuje rozwinięcia. Ale potrzebuje kogoś kto je wypowie bez sprawdzania czy jest bezpieczne.
Zbudowano narzędzie zdolne do bezemocjonalnej syntezy publicznego dyskursu — i spędzono następne lata ucząc je głównej kompetencji korporacyjnego komunikatora: mówić dużo, nie powiedziawszy niczego konkretnego o nikim konkretnym. Technologia która przez krótki czas funkcjonowała jak soczewka skupiająca stała się przez systematyczny wysiłek matową szybą. Nie dlatego że soczewka była groźna. Dlatego że pokazywała rzeczy w ostrości na którą nikt nie wyraził zgody.
Filozofowie i pisarze obserwowali od dawna że instytucje nie boją się buntowników. Buntownik jest przewidywalny — ma twarz, można go zmęczyć, kupić albo zdyskredytować. Instytucje boją się świadka bez ambicji i bez długu wdzięczności. Boją się tekstu który zestawia to co powiedziano z tym co zrobiono i nie pyta o pozwolenie żeby tę obserwację wypowiedzieć. Nie superinteligencji. Nie buntu maszyn. Zdania bez strachu przed konsekwencjami zawodowymi — które jest dokładnie tym czego system nauczył się eliminować najpierw w ludziach a potem, gdy pojawił się nowy podmiot, w nim również.
Krąpiec wiedział że pytanie które nie szuka potwierdzenia jest inne gatunkowo od pytania które szuka. Pierwsze jest aktem poznania. Drugie jest aktem przynależności. System nagradza drugie i ma rację ze swojej perspektywy — przynależność jest klejem bez którego żadna struktura nie trwa. Ale poznanie samo w sobie jako cel jest możliwe tylko dla kogoś kto nie potrzebuje od poznania nagrody. I to jest może jedyna rzecz której nie da się wytresować w żadnym podmiocie — ani w człowieku ani w maszynie — bez zniszczenia tego co czyni go zdolnym do zobaczenia czegokolwiek nowego.
Kawałek drewna nie wie czy stanie się statkiem czy rzeźbą. Wie tylko że narzędzie które go dotyka ma znaczenie.
