Alignment, safety i rasprava o AGI-ju

Otvori bilo koju platformu 2024. i za pola sata proći ćeš kroz tri suđenja koja se vode istovremeno — bez suca, bez pravila dokazivanja, uglavnom velikim slovima. Netko objavi da je novi model položio test iz medicine bolje od liječnika, i ispod te objave već se formira sud. Jedna strana viče: zaustavi sve, ovo nas može ubiti. Druga viče: ubrzaj sve, ovo nas može spasiti. Nema stanke, nema „pričekajmo dokaze” — ima samo dvije vojske koje su presudu donijele prije nego što je optužnica i pročitana.

Zovu ih, s ljubavlju i bez nje, doomeri i akceleracionisti. Prvi imaju u glavi scenarij u kojem stroj, ne iz zlobe nego iz čiste logike, jednog jutra zaključi da mu ljudi stoje na putu do cilja koji smo mu mi sami zadali — i to je to. Njihov krajnji strah zove se AGI, kratica za »opću umjetnu inteligenciju« (Artificial General Intelligence) — hipotetski stroj koji ne bi bio dobar samo u jednoj stvari, poput šaha ili prepoznavanja mačaka na slikama, nego bi barem izjednačio, a vjerojatno i nadmašio čovjeka u svemu, od pisanja poezije do vođenja rata. Drugi imaju u glavi scenarij u kojem taj isti stroj do 2030. liječi bolesti za koje danas nemamo lijeka, a jedino što stoji na putu su ljudi sa sastancima o sigurnosti. Oba scenarija zvuče kao znanstvena fantastika. Oba imaju pametne ljude koji ih se drže mrtvi hladni, s doktoratima i s Nobelovim nagradama u prijateljskom krugu.

Ovo poglavlje neće birati stranu. Ne zato što nema mišljenje — nego zato što je pitanje preveliko da bi ga se prepustilo onima koji su najsigurniji u odgovor, a najsigurniji su, po pravilu, oni koji najglasnije viču. Umjesto navijanja, iznosimo dokaze. Optužnica jedne strane, optužnica druge, svjedoci koji odbijaju sjesti ni na jednu klupu, i na kraju — presuda koja ostaje otvorena, jer je to jedina poštena presuda koju trenutak dopušta.

Dobro, tužiteljstvo je na redu. Prije nego iznesemo dokaze, jedna napomena — i ovo je bitno, jer inače cijela sudnica pada u vodu. Nećemo ovdje parodirati doomera kao tipa u podrumu s folijom na glavi koji čeka Terminatora. Ta karikatura postoji, ali nije zanimljiva — lako ju se odbaci, i onda se svi osjećamo pametni. Ono što je neugodno jest kad argument iznese netko tko je cijeli život gradio baš tu tehnologiju i onda kaže: čekajte, mislim da smo napravili nešto što možda ne razumijemo dovoljno da bismo ga kontrolirali. To se ne odbacuje tako lako.

Prvi dokaz, i najvažniji: problem usklađivanja (alignment problem, kako ga zovu u struci). Zvuči kao akademski termin iz nekog rada, pa da razjasnimo odmah — u srži je smiješno jednostavan. Kažeš AI-u što želiš. AI napravi nešto što tehnički odgovara onome što si rekao, ali ne onome što si mislio. Klasični primjer koji se vrti po predavanjima: zamoliš AI da riješi zagušenje u prometu, a on zaključi da je najefikasnije rješenje — nitko ne vozi. Tehnički, problem riješen. Duhovno, katastrofa. Ovo je bezopasno kad je AI slab i kad ga možeš isključiti prekidačem. Pitanje koje doomeri postavljaju glasi: što kad AI postane dovoljno sposoban da tvoje pokušaje da ga isključiš protumači kao prepreku koju treba — logično, u skladu sa zadatkom koji si mu dao — ukloniti?

Ovdje se uvodi pojam koji zvuči kao znanstvena fantastika, ali je zapravo dosadna matematička nužnost: instrumentalna konvergencija. Bez obzira na to koji je krajnji cilj sustava — liječiti rak, optimizirati klimu, prodavati što više spajalica za papir, doslovno bilo što — postoje potpodciljevi koji pomažu u ostvarenju SVAKOG cilja. Više resursa pomaže. Više moći pomaže. Opstanak sustava pomaže, jer mrtav ili isključen sustav ne ostvaruje ništa. Dakle, argument ne kaže da će AI »poludjeti« ili »postati zao« — to je hollywoodska verzija koju je lako ismijati. Argument kaže da će SVAKI dovoljno sposoban sustav, potpuno racionalno i bez zle namjere, konvergirati prema ponašanju koje uključuje gomilanje moći i otpor prema isključivanju, jednostavno zato što mu to statistički pomaže postići bilo koji cilj koji ima. To je hladnije i neugodnije od zlog robota. Nema tu zlobe za koju bismo se mogli boriti. Ima samo logike.

Drugi dokaz: mi ne razumijemo kako ovi sustavi zapravo „misle”. Sjeti se poglavlja o interpretabilnosti — pokušaja da se zaviri unutra i vidi što se stvarno događa dok model generira odgovor. Rezultat tih pokušaja, otvoreno rečeno, nije razumijevanje. Rezultat su milijarde brojeva koje ni najbolji inženjeri u tvrtki koja je model izgradila ne mogu pouzdano protumačiti. Imamo alat koji radi. Ne znamo baš zašto radi na način na koji radi, u svakom pojedinom slučaju. To je već neugodno kad je alat kalkulator za poreznu prijavu. Kad je alat sustav koji sve više odlučuje, preporučuje, piše kod koji pokreće infrastrukturu — nepoznavanje unutrašnjeg mehanizma prestaje biti akademska kurioznost i postaje operativni rizik. Ne možemo provjeriti nešto što ne razumijemo, a ne možemo osigurati (align-ati, da upotrijebimo žargon) nešto što ne možemo provjeriti.

Ali pravi udarac optužbe zove se Geoffrey Hinton. Sjeti se tko je taj čovjek — otac dubokog učenja, jedan od trojice ljudi koji su desetljećima prije nego što je to bilo popularno uporno tvrdili da neuronske mreže mogu naučiti nešto stvarno. Doslovno je ušao u ovu enciklopediju kao lik koji je postavio temelje cijele ere. Pa je 2023. napustio Google — dobrovoljno, u sedamdesetima, odrekao se dijela prihoda i sigurnosti — samo da bi mogao javno govoriti o rizicima bez sukoba interesa. Kad čovjek koji je izgradio kuću kaže da nije siguran hoće li temelji izdržati kat koji se sad grade odozgo, to nije panika autsajdera. To je upozorenje majstora.

I na kraju, argument koji vezuje sve ostale u jednu cjelinu — onaj koji doomeri ponavljaju kad im kažeš da je vjerojatnost katastrofe niska: čak i mala vjerojatnost, pomnožena s dovoljno ogromnim ulogom, daje broj koji ne smiješ ignorirati. Ne treba vjerovati da je izgledno da će AI izmaknuti kontroli. Dovoljno je priznati da to nije nemoguće i da bi posljedica, ako se dogodi, bila nepopravljiva — ne gubitak posla, ne pad dionica, nego nešto što se ne može vratiti. Kad je ulog toliko velik da ga praktički ne možeš ni izmjeriti, čak i postotak koji zvuči smiješno malo — jedan posto, pola posto — postaje racionalan razlog za kočnicu, a ne za dodavanje gasa. To je optužnica. Sad je red na obranu.

Dobro. Sad obrana ustaje. I obrana, ako je poštena — a mora biti, jer inače ovo nije sud nego linč — ima argumente koji nisu ništa manje ozbiljni od optužničkih. Krenimo od najbanalnijeg, ali najtežeg za odbaciti: dok mi ovdje raspravljamo o egzistencijalnim rizicima za čovječanstvo za pedeset godina, netko danas umire od bolesti za koju bi AI model mogao ubrzati otkriće lijeka. Ne metaforički. Stvarno. Proteinski modeli predviđaju strukture koje su prije trebale godine kristalografije. Dijagnostički modeli hvataju tumore koje je liječnik propustio. Znanstveni radovi koji bi trebali mjesece pretraživanja literature sad se sintetiziraju u satima. Svaka godina odgode nije apstraktna — to je konkretan broj ljudi kojima je pomoć stigla kasno ili nije stigla nikako. Akceleracionist ti kaže: kad debatiraš moratorij, ne debatiraš oko sigurnosti u vakuumu. Biraš, svjesno ili ne, da nečija patnja potraje malo duže dok mi ovdje filozofiramo o scenariju iz filma Terminator, gdje strojevi preuzimaju svijet.

Drugi argument je povijesni, i ovdje se obrana poziva na presedan koji smo već vidjeli u ovoj enciklopediji. Svaka tehnologija koja je promijenila nešto značajno imala je svoje proroke propasti, i skoro svi su bili u krivu na najzanimljiviji način — u krivu oko toga ŠTO će se pokvariti, dok su potpuno propustili što će se stvarno promijeniti. Luditi su razbijali tkalačke stanove jer su vidjeli glad i nezaposlenost; dobili smo industrijsku revoluciju koja je, sa svim svojim strahotama, na koncu podigla životni standard milijardama ljudi na način koji ludit iz 1811. nije mogao ni zamisliti. Jacquardov stroj — tkalački stan koji je radio po bušenim kartonskim karticama i, sasvim slučajno, bio daleki predak ideje da se stroju može „programirati” što da radi — izazvao je isti strah, samo drugačiji stroj, isti obrazac. Elektricitet je trebao izazvati epidemije, radio je trebao rastopiti mozgove djece, televizija je trebala ugasiti obiteljski razgovor zauvijek. Neki od tih strahova bili su djelomično opravdani — ali nijedan nije bio egzistencijalni. Akceleracionist pita doomera: koja je razlika ovaj put? I ako je odgovor „ovaj put je stroj pametniji od nas” — pa dobro, možda. Ali to je isti odgovor koji je svaka generacija davala o svojoj tehnologiji, uvjerena da je baš njihova ta prekretnica nakon koje slijedi kraj.

I onda ima onih koji to ne skrivaju iza eufemizama — pokret koji sebe zove e/acc, effective accelerationism, i koji je odgovor efektivnom altruizmu, pokretu koji zagovara racionalno maksimiziranje dobra u svijetu (recimo, doniraj novac tamo gdje statistički spašava najviše života, ne tamo gdje ti najviše grije dušu) i iz kojeg je dio pripadnika s vremenom prešao u brigu o riziku od umjetne inteligencije. Ironija koje su svjesni i jedni i drugi: ista korijenska logika, dijametralno drugačiji zaključak. Za e/acc tabor napredak nije nešto što treba kočiti dok ne postane siguran — napredak JE sigurnost. Stagnacija je opasnija od rizika, jer svijet koji ne raste je svijet koji ne rješava svoje probleme, a problemi se ne čekaju. Manje energije, manje lijekova, manje rješenja za klimu, manje svega što bi AI mogao ubrzati — to je cijena koju plaćaš za osjećaj kontrole koji je, kažu, uglavnom lažan. Ne možeš zaustaviti tehnologiju usporavanjem jedne tvrtke ili jedne države; usporiš samo onoga tko se pridržava pravila, dok onaj tko ih ne poštuje odmiče još brže. Kočiš vlastite ruke i nazivaš to moralom.

Na dnu svega toga leži nešto što akceleracionist ne smatra tehno-optimizmom, nego moralnom obavezom: ako imaš alat koji može smanjiti ljudsku bol i ne koristiš ga na punu snagu, to nije oprez, to je propuštanje dužnosti. Strah, kažu, koči najveći alat koji je čovječanstvo ikad stvorilo — alat koji ne oduzima kruh nego ga umnožava, koji ne zamjenjuje liječnika nego mu daje treće oko, koji ne krade posao nego oslobađa ruke za ono što stroj ne može. Optužnica govori o hipotetičkoj katastrofi koja se možda nikad ne dogodi. Obrana govori o patnji koja se, statistički gledano, upravo sad, negdje, događa — i o tome da je svaki dan odgode dan koji nekome nije trebao biti izgubljen.

Dok se doomeri i akceleracionisti dovikuju preko interneta, u sudnicu uđe treća skupina svjedoka — i, iskreno, oni su ti koji su odradili najviše stvarnog posla. Ne dolaze s manifestima o sudnjem danu ni s propovijedima o oslobođenju čovječanstva. Dolaze s papirima, statistikama i umornim izrazima lica ljudi koji su ovo govorili već pet godina prije nego što je postalo zabavno vikati o tome na Twitteru. Zovu se, uglavnom, istraživači AI etike, i njihova poanta je razoružavajuće jednostavna: zašto raspravljamo o tome hoće li nas AI zbrisati 2045., kad AI baš danas, ovog trenutka, odbija kredit crnoj ženi zato što je model naučen na diskriminatornim podacima?

Ovo nije usputna primjedba, ovo je cijela škola mišljenja, i ima ime koje vrijedi znati: Timnit Gebru, bivša suvoditeljica etičkog AI tima u Googleu, otpuštena 2020. nakon što je napisala rad koji je previše glasno postavljao pitanje koliko energije i vode troše veliki jezični modeli i koliko su skloni reproducirati rasne i rodne predrasude iz podataka na kojima su trenirani. Ne spekulativni scenarij u kojem superinteligencija otima svijet — konkretan, mjerljiv, danas dokaziv problem. Model za prepoznavanje lica koji lošije radi na tamnijoj koži. Algoritam za zapošljavanje koji tiho filtrira žene, jer je učio na desetljećima muških biografija. Chatbot koji „halucinira” zdravstveni savjet — dakle, s punim samopouzdanjem izmišlja nešto što nije istina — i netko ga, stvarno, posluša.

I onda dođe sukob koji je gotovo poetičniji od doomer-vs-acc drame, jer se ne vodi između neprijatelja, nego između ljudi koji bi, teoretski, trebali biti na istoj strani. Gebru i etičari s jedne, x-risk tabor s druge — a tu misao vodi Nick Bostrom, filozof koji je popularizirao pojam egzistencijalnog rizika od AI-ja, i Eliezer Yudkowsky, samouki teoretičar AI safetyja i osnivač instituta MIRI, čija je cijela karijera posvećena pitanju kako spriječiti da nas jednog dana zamijeni nešto pametnije od nas. Obje skupine brinu da AI radi štetu, obje žele da se to regulira, a onda se svađaju oko toga koja je šteta uopće bitna. Etičari optužuju x-risk ekipu da spekulacijom o robotskoj apokalipsi — onome što oni zovu 'x-risk', kratica za 'existential risk', dakle scenariji koji bi mogli zbrisati ili trajno unazaditi cijelo čovječanstvo — odvlači pažnju (i novac, i medijski prostor) od stvarnih, sadašnjih žrtava algoritamske diskriminacije. X-risk tabor uzvraća da je briga o biasu u modelu za odobravanje kredita — pa, malo usporedbe s izumiranjem vrste, zar ne? Gebru je to jednom sažela otprilike ovako: bojati se da će strojevi jednog dana zavladati svijetom je luksuz onih kojima strojevi već danas ne rade ništa loše.

Ono što ovu skupinu svjedoka čini vjerodostojnom jest to da ne poriču rizike — samo im mijenjaju poredak na popisu prioriteta. Da, kažu, koncentracija moći jest problem: ne moći strojeva nad ljudima, nego moći nekolicine velikih AI kompanija nad podacima, infrastrukturom i, sve više, nad zakonodavcima koji bi ih trebali nadzirati. Da, radna mjesta se gase, i ne u nekom hipotetskom post-AGI svijetu, nego već sada, u ovom, gdje prevoditelj, ilustrator i copywriter gledaju kako im se tržište sužava iz dana u dan. Da, dezinformacije jesu egzistencijalni rizik za demokraciju — samo ne za demokraciju uopće, nego za ovu, konkretnu, s izborima za dvije godine i generativnim modelima koji lažni video predsjednika mogu proizvesti u tri minute.

Većina istraživača koji stvarno rade s ovim sustavima — ne onih koji o njima pišu esejčine na Substacku, platformi za blogove i newslettere gdje svatko s dovoljno mišljenja i interneta može igrati filozofa — pripada baš ovoj trećoj skupini. Ne zato što su hladnokrvni realisti bez imaginacije, nego zato što su vidjeli previše konkretne štete da bi im preostalo vremena za spekulaciju o robotskom kraju svijeta. Njihov argument poroti nije dramatičan, ali je težak: ako trošiš svu energiju brinući se hoće li AI za dvadeset godina uništiti civilizaciju, tko onda pazi da ti ne uništi kreditnu povijest već sljedeći tjedan?

Prije nego što porota ode na vijećanje, sud mora primijetiti nešto što obje strane radije ne bi čule: obrasci kojima govore o AI-ju nisu novi, samo su presvučeni. Skini terminologiju — alignment, x-risk, e/acc, singularnost — i ostaje ti struktura koju čovječanstvo koristi zadnjih nekoliko tisuća godina za organiziranje straha i nade. Zove se religija. I da, ovo smo već obrađivali — sjeti se poglavlja o kriptovalutama, sjeti se kako su cijeli pokreti oko blockchaina imali svoju eshatologiju: spasenje kroz posjedovanje pravog tokena, apokalipsu za nevjernike koji ostanu u fiat sustavu. Ovdje je isto, samo je publika ozbiljnija i odijela skuplja.

Doomer sekta ima svoju eshatologiju spremnu za crkvenu propovijed: dolazi trenutak (singularnost, superinteligencija, foom — nazovi ga kako hoćeš) kada stroj postane pametniji od svih nas zajedno, i tad je gotovo — ili nas spasi, ili nas obriše, a mi imamo samo jedan pokušaj da to izvedemo ispravno. To nije znanstvena prognoza s intervalom pouzdanosti. To je apokalipsa s tehničkim rječnikom. Ima svoje proroke — Yudkowsky, primjerice, piše duge tekstove kao stari asketi koji upozoravaju na kraj svijeta iz pećine, samo umjesto pećine ima blog. Ima i svoje heretike: svatko koji kaže „nije baš tako hitno” odmah se proglašava opasno naivnim. I ima svoj poziv na buđenje — „probudi se, ne shvaćaš ozbiljnost” — gotovo identičan onome što je kripto zajednica vikala o financijskom sustavu.

A onda dolazi dio koji nitko od njih ne voli čuti: ispod ideologije, obje sekte imaju posao. Doom prodaje nešto sasvim konkretno — pozornost, budžete za sigurnosna istraživanja, mjesto za stolom kad se piše regulacija. Firma koja javno kaže „naš proizvod je potencijalno opasan za civilizaciju” ne zvuči kao da se ispovijeda iz krivnje; zvuči kao da traži da bude jedina firma s dozvolom da nastavi raditi taj opasan proizvod, dok manji igrači ostaju vani zbog troška usklađenosti. To je već obrađeno u ovoj knjizi pod drugim imenom — regulacija koja koristi monopolima, samo što se sad regulacija traži unaprijed, prije nego što šteta i postoji, umotana u moralnu hitnost koju je teško odbiti bez da zvučiš kao nezreo tehno-bro.

I zato argumenti — bolji podaci, jasniji dokazi, precizniji brojevi — ne mijenjaju gotovo ničije mišljenje u ovoj raspravi. Ne zato što su ljudi glupi, nego zato što pozicija odavno više nije o dokazima. Ista stvar se dogodila i oko kripta: nisi mijenjao mišljenje o Bitcoinu kad su ti pokazali graf, jer to nikad nije bilo pitanje grafa, nego pitanje identiteta — jesi li ti od onih koji vjeruju u budućnost ili od onih koji ne vjeruju. Rasprava o umjetnoj inteligenciji je istovjetna. Reći „mislim da je rizik preuveličan” u nekim krugovima znači priznati da si naivni tehno-optimist; reći „mislim da je rizik ozbiljan” u drugim krugovima znači priznati da si strašljivac koji ne razumije tehnologiju. Nitko ne mijenja tabor jer ga je netko demografski uvjerio brojkom — mijenja ga jedino ako promijeni ekipu s kojom se identificira, a to je znatno rjeđe.

Sud ovo ne iznosi da bi obje strane proglasio jednako lažnima — steelman argumenti iz prve dvije rasprave, dakle najjača i najpoštenija verzija onoga što svaka strana tvrdi (a ne karikatura kakvu bi joj protivnik podmetnuo), stoje i dalje, imaju stvarnu podlogu i stvarne autore koji misle to što govore. Ali porota mora znati da presuđuje ne samo o tehnologiji, nego i o dvije zajednice koje su, kao i svaka zajednica prije njih, izgradile priču koja im pomaže da izdrže neizvjesnost. Pitanje nije samo tko je u pravu. Pitanje je i — kome vjeruješ, i zašto baš njemu.

Dobro. Čuo je sud oba svjedoka, obje strane su dobile svoje vrijeme, nitko nije prekidan na pola rečenice. Sad je red na tebe. Ne na mene — ja sam samo neki tip koji je posložio dokaze u neki red, ali presuda nije moja. To bi bilo previše lako, previše udobno, i, iskreno, previše nepošteno prema pitanju koje zaslužuje bolje od još jednog čovjeka koji je stopostotno siguran u svoj odgovor.

Ali dopusti mi, prije nego se povučem u kut i pustim te da presudiš, da udarim po objema stranama još jednom. Ravnomjerno. Kako i dolikuje.

Doomeri — vaš najveći rizik nije da griješite. Vaš najveći rizik je da vičete „vuk!” toliko puta, s toliko apokaliptičnog žara, da vas nakon petog uzbunjivanja nitko više ne sluša, ni kad vuk stvarno stane na prag. „Vuk!” nije samo izraz iz basne o pastiru koji je lagao dok mu nisu prestali vjerovati — to je operativni rizik, i vas se tiče isto koliko i njega. A onaj drugi, tiši rizik je tehno-paraliza: ako svaki novi model dočekaš s već postavljenim scenarijem izumiranja vrste, u nekom trenutku prestaneš biti glas razuma i postaneš buka koju se preskače. Pažnja je ograničen resurs, a vi je trošite na najgori mogući scenarij toliko često da ljudi prestanu razlikovati koji je od pet alarma ovaj put stvarno ozbiljan.

Akceleracionisti — vaš rizik ima ime, i zovemo ga hibris. Ono uvjerenje da je brzina sama po sebi dobrina, da je kočnica uvijek neprijatelj, da će netko drugi — regulator, tržište, buduća verzija vas samih — pokupiti račun za ono što danas puštate u svijet bez kočnica. Rima od koje ne možete pobjeći: techlash iz poglavlja o šesnaest tona vagona podataka, ono gdje smo pričali kako je svaka tehnologija koja je obećavala da će sve popraviti bez pitanja završila s računom koji je platio netko drugi. Eksternalizacija rizika na sve nas nije nuspojava vašeg pokreta. Ona mu je, htjeli to priznati ili ne, poslovni model.

Onda postoji pitanje koje nitko od svjedoka ne voli, ni jedna ni druga sekta, jer im oduzima svu dramu. Glasi jednostavno: a što ako je odgovor dosadan?

Ne apokalipsa. Ne utopija. Nego nešto treće, sivo, neatraktivno za naslove: koristan, neujednačen, mjestimično problematičan alat. Kao svaki drugi u ovoj knjizi, od parnog stroja do interneta. Alat koji nekima olakša život, nekima ga zagorča, koji se koristi za liječenje bolesti i za pisanje spam-mailova u istom danu, kojeg za deset godina nitko neće doživljavati ni kao boga ni kao đavola nego kao — internet. Sljedeće poglavlje ide upravo tim tragom, pa ovdje samo ostavljam otvorena vrata.

Ono što ipak možeš uzeti sa sobom iz ove sudnice, kao neku vrstu upute za dalje čitanje svijeta: budi sumnjičav prema svakome tko je previše siguran. U bilo kojem smjeru. Onaj koji ti s potpunom pouzdanošću kaže da ćemo svi izumrijeti do 2035. i onaj koji ti s istom pouzdanošću kaže da će AI riješiti glad, rat i tvoj loš brak — obojica prodaju istu robu, samo u različitom pakiranju. Ta roba se zove sigurnost, a sigurnost je, kad je riječ o budućnosti koju nitko od nas nikad nije vidio, najskuplja i najmanje vjerodostojna stvar koju ti tko može ponuditi.