Otvoreni AI koji to nije

Prosinac 2015. Elon Musk, Sam Altman i još par ljudi s previše novca i previše dobrih namjera objavljuju objavu na blogu koja danas zvuči kao pismo iz drugog svemira. OpenAI, kažu, bit će neprofitna istraživačka organizacija čiji je cilj osigurati da umjetna opća inteligencija — ono strašno AGI o kojem se tada uglavnom pisalo u znanstvenoj fantastici — koristi cijelom čovječanstvu, ne jednoj korporaciji, ne jednoj državi, ne jednom dioničaru. Otvoreno istraživanje. Objavljeni radovi. Kod dostupan svima. Protuteža Googleu, koji je nešto ranije kupio DeepMind — britanski laboratorij za umjetnu inteligenciju, onaj isti koji će kasnije naučiti računalo da bude bolje od svih ljudi na svijetu u igri Go — i tim potezom uplašio pola Silicijske doline. Ime, na neki način, i nije bilo marketinški trik — bilo je deklaracija namjere. Open. AI. Otvoreno, za sve.

Osam godina kasnije stojimo pred nečim što se i dalje zove OpenAI, ima i dalje logo koji podsjeća na neuronsku mrežu nacrtanu flomasterom, i — teoretski — istu misiju na naslovnici svoje stranice. Samo što danas nitko na svijetu, osim možda šačice ljudi unutar same tvrtke, ne zna kako točno GPT-4 izgleda unutra. GPT, da razjasnimo odmah, znači Generative Pre-trained Transformer — model koji je prožderao ogromne količine teksta s interneta i knjiga, i na temelju toga naučio predviđati koja riječ dolazi sljedeća, dovoljno dobro da ispadne kako „razumije” i „razgovara”. Koliko parametara ima, to je druga stvar koju ne znamo — parametri su, grubo rečeno, milijarde brojčanih kotačića unutar mreže koji se tijekom treniranja podešavaju i zajedno čine ono što zovemo „znanjem” modela; više parametara, u principu, znači moćniji (i skuplji) model. Ne znamo ni na kojim je podacima GPT-4 treniran, ni koja mu je arhitektura. Ni redak koda, ni jedna težina modela nije javna. Zatvorenije od najzatvorenije korporacije koju su 2015. htjeli nadjačati otvorenošću. A uz to — neprofitna organizacija koja je uspjela roditi profitnu podružnicu vrijednu desetke milijardi dolara, s ekskluzivnim ugovorom s Microsoftom vrijednim 13 milijardi dolara, i s odborom koji je 2023. na jedan vikend pokušao smijeniti vlastitog izvršnog direktora — i izgubio (pogl. 11, za detalje o toj drami koja je zvučala kao scenarij za HBO).

Zato danas otvaramo sud. Ne kazneni, nema zatvora ni kazni — sud časti, gdje se optuženom sudi po vlastitim riječima. Na optuženičkoj klupi sjedi organizacija čije ime obećava jedno, a praksa isporučuje drugo. Tužitelj ima kronologiju, citate i brojke. Obrana ima — i to je bitno reći unaprijed — argumente koji nisu glupi, ni jeftini, ni lažni. A porota, kao i uvijek u ovoj knjizi, sjedi na drugoj strani ekrana. Ti.

Časni sude, porotnici, ostatak čovječanstva u publici — hvala što ste izdvojili vrijeme. Optuženik danas u sudnici nosi ime koje se sastoji od dvije riječi, i tužiteljstvo tvrdi da je jedna od njih čista kleveta. Ime optuženika je OpenAI. Fokusirat ćemo se, ako smijemo, baš na tu prvu riječ — Open. Otvoreno. Jer optužba nije da je tvrtka loša, opasna ili glupa — optužba je uža i preciznija od toga: optužba je da se laž nosi u imenu, svaki dan, na svakoj naslovnici, na svakom računu koji naplaćuju, već osam godina.

Vratimo se na dan kad je optuženik rođen. Prosinac 2015., osnivačka objava, potpisi Elona Muska, Sama Altmana, Grega Brockmana i još nekoliko imena koja su tad zvučala kao entuzijasti, a danas zvuče kao investitori s viškom savjesti. Citiram, jer u ovoj sudnici citati vrijede više od sjećanja: „OpenAI je neprofitna organizacija za istraživanje umjetne inteligencije. Naš cilj je unaprijediti digitalnu inteligenciju na način koji je najvjerojatnije koristan cijelom čovječanstvu, bez obzira na potrebu financijskog povrata.” Bez obzira na potrebu financijskog povrata. Ne mogu to ni sam pročitati bez da mi glas malo zadrhti — ne od emocije, nego od toga koliko će ta rečenica za tri poglavlja biti bolno ironična.

Nastavimo s objavom, jer ima još soka u njoj. »Vjerujemo da bi AI trebao biti produžetak individualne volje ljudi te, u duhu slobode, biti što šire i pravedno distribuiran.« Distribuiran. Otvoren. Zato i ime — Open kao u »open source« (to je onaj koncept kad netko objavi kod softvera javno, da ga svatko može pogledati, kopirati i graditi na njemu, umjesto da ga zabravi u trezor), kao u otvorena vrata, kao u pogledaj ispod haube ako želiš. Cijela premisa osnivanja, ako se sjetite konteksta — Google je tad već imao DeepMind, i strah je bio da će jedna korporacija zagospodariti najmoćnijom tehnologijom stoljeća — bila je: mi ćemo biti protuteža. Mi ćemo objavljivati. Mi nećemo čuvati tajne za sebe.

Sad skočimo u 2023. GPT-4 izlazi u ožujku, najsposobniji model koji je javnost do tada vidjela, i uz njega izlazi dokument koji se zove — pazite dobro na naziv — »GPT-4 Technical Report«. Tehnički izvještaj. Otvorite ga, ako ga niste, i tražite arhitekturu modela. Nema je. Tražite broj parametara. Nema ga. Tražite podatke na kojima je treniran, veličinu, izvore, filtriranje. Ničega. Devedeset i nešto stranica papira koji se zove tehnički, a tehnike u njemu ima približno koliko u marketinškoj brošuri za novi model automobila — dizajn je uzbudljiv, motor je »snažan«, konkretan broj konja ne dobivate.

I evo gdje optužba postaje zanimljiva, jer tvrtka to i sama priznaje, crno na bijelo, u fusnoti tog istog dokumenta. Piše, parafraziram jer ne mogu prenijeti navodnik unutar navodnika bez da poludim od interpunkcije: da zbog konkurentskog i sigurnosnog krajolika ovaj izvještaj ne sadrži dodatne detalje o arhitekturi, veličini modela, hardveru, treningu, skupu podataka, metodi treniranja i slično. Konkurentski krajolik. Dakle — ne objavljujemo jer bismo pomogli konkurenciji. To je posve legitiman poslovni razlog. Ali onda, molim vas, uklonite riječ „Open” iz imena, jer u sudnici se ne sudi poslovnoj odluci — sudi se neusklađenosti između onoga što se tvrdi da jesi i onoga što stvarno radiš.

Dokaz broj dva, financijski. Neprofitna organizacija iz 2015. danas u sebi krije »capped-profit« podružnicu — strukturu u kojoj investitori mogu zarađivati, ali navodno ograničeno, s gornjom granicom povrata. Zvuči odmjereno, čak pošteno, dok ne pogledate broj. Gornja granica postavljena je na stotinu puta uloženog kapitala. Sto iks. Uložiš milijun, teoretski smiješ izvući stotinu milijuna prije nego taj mehanizam ograničenja uopće počne raditi svoj posao. To nije ograda oko livade — to je ograda postavljena tako daleko da je livada zapravo cijela država. »Neprofitno«, da, tehnički, na papiru, uz asterisk veličine otprilike galaksije.

A onda dokaz koji povezuje sve prethodno: Microsoft. Milijarde dolara ulaganja, ekskluzivno pravo pristupa modelima, ekskluzivni partner za računalstvo u oblaku, ugrađen u Office, u Windows, u svaki proizvod koji Redmond prodaje pretplatnicima koji plaćaju. „Osigurati da AGI koristi cijelom čovječanstvu” — u praksi se, 2023., prevodi kao: koristi ponajprije jednoj tvrtki vrijednoj preko dvije tisuće milijardi dolara, koja je tu tehnologiju kupila ekskluzivnim ugovorom. Čovječanstvo dobiva ChatGPT pretplatu za dvadeset dolara mjesečno kao milostinju s vrha stola za kojim sjede Microsoft i OpenAI-jevi investitori. Optužba stoji: ime obećava otvorenost čovječanstvu. Stvarnost isporučuje zatvorenost jednom partneru. Sud časti je otvoren — dokazi optužbe upravo su predani.

Dokazi optužbe idu kronološkim redom, jer ništa ne osuđuje čovjeka — ili firmu — bolje od datuma poredanih jedan iza drugog. Prosinac 2015. OpenAI se osniva kao neprofitna organizacija. U osnivačkom pismu stoji da će istraživanja biti objavljivana, patenti (ako ih bude) dijeljeni s javnošću, a suradnja s drugim institucijama poticana »kad god to pridonosi zajedničkom dobru, na štetu vlastite konkurentske prednosti«. Ta zadnja formulacija je važna, zapamti je, vratit ćemo joj se za tri paragrafa, jer je upravo ona ta koja će prva odletjeti kroz prozor.

2019. dolazi prvi rez. OpenAI osniva OpenAI LP — »ograničeno profitni« entitet ugniježđen unutar neprofitne krovne organizacije. Zvuči kao pravni floskul, i jest, ali evo poante bez koje priča nema smisla: treniranje velikih modela guta stotine milijuna dolara u računalnoj snazi, i ta brojka raste iz godine u godinu poput kamate na kredit koji nikad ne otplaćuješ. Neprofitna organizacija koja ovisi o donacijama ne može platiti taj račun. Investitor može, ali investitor želi povrat. Rješenje: ograniči povrat (»cap«), pa formalno ostani »misijski vođen« dok materijalno postaneš ono što svaki startup jest — vozilo za prikupljanje kapitala. Ovo je, treba reći glasno jer je poglavlje o pravdi a ne o linču, iskren i razumljiv potez. Ta računalna snaga košta koliko košta; fizika računa ne pregovara s idealizmom.

2019. je i godina prve milijarde od Microsofta — investicija koja dolazi s ekskluzivnim licencnim ugovorom, ne s donacijom bez uvjeta. Microsoft ne dobiva vlasništvo u klasičnom smislu, ali dobiva pristup, prvenstvo i pravo ugradnje OpenAI-jeve tehnologije u vlastite proizvode, od Worda do Azurea — Microsoftovog oblaka za iznajmljivanje računalne snage, one iste snage koja OpenAI-u treba za treniranje modela i koju, kao što smo vidjeli, neprofitna organizacija sama ne može platiti. 2023. slijedi još deset milijardi, a vrednovanje cijele organizacije skoči na desetke milijardi dolara. Za usporedbu — 2015. je cijeli projekt startao s oko milijardu dolara obećanih donacija razvučenih na godine, od kojih velik dio nikad nije ni stigao. Razlika u brojkama nije samo rast. Razlika u brojkama je promjena vrste organizma.

A onda GPT-2, 2019., prvi je znak da riječ „open” i praksa krenu u razvod. Umjesto punog objavljivanja modela, OpenAI ga isprva izdaje djelomično, uz javno obrazloženje da je model „previše opasan” za neograničenu distribuciju — mogao bi generirati dezinformacije u industrijskim razmjerima. Kritičari (i ne baš tihi) primijete da je model, u trenutku objave, već daleko od najsposobnijeg na tržištu, i da je „previše opasan” pomalo zgodna fraza za firmu koja gradi brend oko misterije. Ali — i ovo mora ući u zapisnik, jer sudac koji čuje samo optužbu nije sudac, nego linč — argument sam po sebi nije glup. Model koji generira uvjerljiv tekst u masovnim razmjerima jest alat koji se može zloupotrijebiti, a pitanje kad i kako objaviti nešto takvo nema čist, udoban odgovor. Sigurnost kao razlog za zatvorenost nije izmišljena isprika. Samo, kao i svaki dobar izgovor, radi dvostruko dobro kad se poklopi i s poslovnim interesom.

Do GPT-3 (2020.) i GPT-4 (2023.) drugi razlog postaje glavni, i ovaj put ga OpenAI ne krije — kaže ga naglas, u samom tehničkom izvještaju GPT-4 modela: informacije o arhitekturi, veličini, skupu podataka za treniranje i metodi treniranja se ne objavljuju, citiram, »zbog konkurentskog i sigurnosnog krajolika«. Konkurentski. Ne stoji skriveno u fusnoti, stoji u prvom paragrafu, kao priznanje koje se ne mora skrivati jer ga svi u industriji razumiju i nitko im ga (javno) ne zamjera. Google ne objavljuje detalje o Geminiju. Anthropic ne objavljuje detalje o Claudeu. Svi igraju istu igru pokera gdje pokazivanje karata znači gubitak ruke. Samo — nitko od njih se ne zove »OpenAI«.

Dakle, dokazi optužbe, poredani: neprofitna misija koja se pretvara u profit s kapom — kapom koja je, ispada, postavljena na drugom katu neba, tako visoko da praktički ne postoji; milijarde dolara od jednog partnera; desetci milijardi dolara procijenjene vrijednosti cijele firme; i riječ »open« koja u praksi znači sve manje, dok na naslovnici, u imenu, stoji nepromijenjena — kao natpis na zgradi čija je svrha odavno drugačija od one za koju je zidana. Obrana će, uskoro, dobiti riječ. I imat će argumente. Ali dokazi ostaju dokazi.

Dobro, vrijeme je da obrana ustane, i da bude ozbiljna — jer ovo nije slučaj u kojem je optuženik očito kriv i samo treba pronaći papire koji to potvrđuju. Prvi argument, i najjači: treniranje modela poput GPT-4 nije trošak koji se plaća sitnišem iz kasice prasice. Govorimo o stotinama milijuna dolara za jedan krug treniranja, o farmama grafičkih kartica koje jedu struju kao mali gradovi, o inženjerima koji ne rade za minimalac. Neprofitna organizacija na ovoj razini je otprilike kao neprofitna svemirska agencija — lijepa ideja, ali fizika ne pita za misiju kad stigne račun. Sjećaš se K6, poglavlje devetnaest? Isto vrištanje, drugi kostim: internet je trebao biti besplatan i decentraliziran, a onda se pojavio račun za poslužitelje i cijela priča se preselila u tri firme koje mogu platiti struju. Idealizam gubi od infrastrukture, redovito, pouzdano, kao gravitacija.

Drugi argument, i ovaj stvarno zaslužuje da ga ne odbacimo prezirno: sigurnost. Da razjasnimo pojam prije nego što odemo dalje — „težine” modela (weights) su, pojednostavljeno, ogromna datoteka brojeva koja nastane treniranjem; to je zapravo cijeli „mozak” modela, spremljen na disk, spreman da ga netko pokrene na svom računalu. Kad objaviš te težine — kad bilo tko može skinuti taj mozak na svoj disk i raditi s njim što hoće — nema kočnice. Nema gumba za isključivanje, nema poslužiteljske strane koju možeš zatvoriti kad model počne generirati upute za nešto što ne bi trebao. Sjeti se K7, poglavlje sedam, Stable Diffusion i cijela ta dilema oko otvorenih modela za generiranje slika — ista logika, samo desetak koraka dalje po ljestvici opasnosti. OpenAI kaže: mi ne skrivamo GPT-4 zato što smo gramzivi, skrivamo ga zato što ne znamo što bi netko s lošim namjerama napravio kad bi imao neograničen pristup modelu te snage. Zvuči kao izlika kad to izgovori firma vrijedna osamdeset milijardi dolara — ali to ne znači da je argument lažan. Može biti i istinit i zgodno prigodan. Dvije stvari nisu isključive.

Treći argument obrane: zašto sudimo baš OpenAI-u kao da je jedini na optuženičkoj klupi? Anthropic — firma koju su osnovali ljudi koji su otišli iz OpenAI-a jer su smatrali da nije dovoljno sigurna — isto ne objavljuje težine svojih modela. Google DeepMind, isto. Meta je iznimka koju ćemo za trenutak spomenuti, ali cijela ostala industrija, uključujući one koji glasno kritiziraju OpenAI za zatvorenost, radi identično. Ako je zatvorenost zločin, onda je to zločin cijele generacije firmi koje su shvatile da je model vrijedan milijarde samo dok ga nitko drugi ne može kopirati. Optužiti jednu firmu za ponašanje cijele industrije je malo kao optužiti jednog vozača za gužvu na cesti.

I onda dolazi zadnja, najneugodnija linija obrane, ona koju ni najveći branitelj ne izgovara s ponosom: možda je cijela premisa iz 2015. bila naivna od početka. Osnivači su htjeli i otvorenost, i sigurnost, i neprofitnost, i natjecanje s Googleom — četiri stvari koje se, pokazalo se, međusobno jedu. Ne postoji svijet u kojem sve četiri drže istovremeno, na ovoj skali, s ovim novcem. Netko je morao pucati, i pucalo je ono najlakše za odbaciti kad računi stignu — riječ »open«. Ostala je samo u imenu, kao stara fotografija na zidu firme koja se odavno preselila u drugu zgradu.

Dobro, kaže obrana, priznajemo — nismo baš otvoreni onako kako je pisalo na kutiji 2015. godine. Računalna snaga košta, konkurencija je nemilosrdna, sigurnost je stvarna brига... pardon, briga. Sve to stoji. Ali onda sudac ima jedno jedino pitanje, i ono je toliko jednostavno da boli: ako je zatvorenost postala nužnost, zašto se onda tvrtka i dalje zove OpenAI? Nitko vas ne tjera da nosite to ime. Mogli ste se preimenovati u ClosedAI, MicrosoftAI, CappedProfitAI — bilo što iskreno. Umjesto toga, ostavili ste riječ „Open” na vratima kao neonski natpis dok se iznutra sve odvija iza zavjese, s ugovorima o tajnosti — onim papirima koji zaposlenike i partnere pravno vežu da šute o svemu što su vidjeli iznutra, pod prijetnjom tužbe — i partnerskim ugovorima debljima od telefonskog imenika.

Ovo smo već gledali. Sjećaš se „Don’t be evil”, tog moto-fosila zakopanog na dnu Googleova etičkog kodeksa, koji je ostao kao natpis na nadgrobnoj ploči za vrijednost koju je tvrtka odavno prerasla? Isti mehanizam, druga firma, ista fizika: brend je jeftin za održavati, misija je skupa. Ime ne mora biti istinito, mora biti upamćeno. „OpenAI” zvuči sjajno na naslovnici, zvuči sjajno investitorima koji vole priču o dobrim momcima koji spašavaju čovječanstvo od loših korporacija — a onda loša korporacija napiše ček od deset milijardi dolara i odjednom je granica između dobrih i loših momaka razmazana kao šminka na kiši.

Pa dobro, pita porota, postoji li ikoga u ovoj priči tko zaista zaslužuje riječ „open”? I ovdje dolazi obrat koji čini ovu sudnicu posebno neugodnom za OpenAI: pogledaj Metu. Da, onu istu Facebook/Metu koju smo u knjizi 6 osudili kao amoralnog giganta koji prodaje tvoje podatke i manipulira tvojim osjećajima za profit (K6, poglavlje o Cambridge Analytici). Ta ista tvrtka je 2023. objavila Llamu — velike jezične modele s javno dostupnim težinama, koje svatko može skinuti, fine-tunirati (to znači dodatno ih podučiti na svojim podacima, kao kad kupiš gotov recept i onda ga prilagodiš vlastitom ukusu), pokrenuti na svom serveru, secirati do zadnjeg parametra (K7, poglavlje 10). Meta, korporativni zlikovac prošle knjige, iznenada je u ovoj knjizi otvorenija od tvrtke koja u imenu nosi riječ „open”. Nije da je Meta postala organizacija za ljudska prava — otvorila je Llamu iz čisto strateškog razloga, da potkopa konkurente koji naplaćuju pristup vlastitim modelima. Ali motiv ne mijenja rezultat: ključevi su na stolu, kod je javan, svatko može zaviriti unutra.

I to je ironija koju porota ne može zaobići. Firma nazvana po zatvorenosti kojoj se protivila jest otvorenija od firme nazvane po otvorenosti kojoj je prisegnula. Ime, ispada, nema veze s onim što se stvarno događa unutar zgrade — ime je marketinška odluka donesena jednog dana 2015., zaboravljena u pravnom smislu, ali nikad izbrisana jer je preskupo mijenjati logo na milijun članaka, konferencija i API dokumentacija.

Dobro, porota. Vrijeme je da se povučete u sobu za vijećanje — a soba za vijećanje je, kao i uvijek, tvoja glava. Prije nego glasaš, evo što imaš na stolu: firma osnovana s misijom da AGI koristi cijelom čovječanstvu, osam godina kasnije zatvorenija je od većine konkurencije koju je htjela nadjačati u otvorenosti. Pitanje glasi: je li OpenAI izdao vlastitu misiju, ili je ta misija bila mrtva na porođaju, samo to još nitko 2015. nije znao?

Poštena presuda glasi: oboje. Misija je bila iskrena kad je pisana — i bila je, u istom trenu, ekonomski nemoguća onako kako je zamišljena. Ne postoji svijet u kojem netko trenira model koji proždire stotine milijuna dolara u struji i čipovima, pa ga onda pošteno pokloni internetu, a firma i dalje postoji za dvije godine. Idealizam se sudario s računicom, i računica je, kao što uvijek radi, pobijedila. To ne čini osnivače lažljivcima iz 2015. Čini ih ljudima koji su potpisali ugovor s budućnošću bez da su pročitali sitna slova o njezinoj cijeni.

OK, dosta samokritike, idemo dalje — jer presuda ne mora biti crno-bijela kao naslov u imenu firme. Transparentnost nije prekidač koji je uključen ili isključen, to je skala, kao i sve ostalo u ovoj industriji što voli glumiti apsolute. Težine modela možda ne mogu biti javne — ima logike u tom argumentu, koliko god ga ne volio. Ali postoji cijeli niz stvari koje mogu biti otvorene bez da ugroze ni sigurnost ni konkurentsku prednost: metodologije evaluacije, istraživanja o sigurnosti i zlouporabi, alati za mjerenje pristranosti, transparentnost oko podataka za treniranje bez otkrivanja same tajne umaka. Ništa od toga ne otkriva „recept”, a sve od toga bi opravdalo riječ „Open” u imenu bar djelomično. Umjesto toga dobivamo tehnički izvještaj bez tehnike i blog post o sigurnosti bez brojki. To nije nemoguća transparentnost — to je birana netransparentnost, i to je razlika koju porota treba zapamtiti.

Ali ono što ovo poglavlje na kraju stvarno dokazuje nije da je OpenAI posebno zla firma. Dokazuje da je najbolji dosad viđeni primjer jednog obrasca koji se ponavlja kroz cijelu ovu enciklopediju, od „Don’t be evil” naovamo: misija napisana s čistim srcem, u prostoriji bez novca, susreće gravitaciju milijardi dolara — i gravitacija uvijek pobijedi. Pitanje nikad nije bilo jesu li osnivači loši ljudi. Pitanje je može li ijedna misija, koliko god lijepo formulirana, preživjeti susret sa stvarnim troškom svoje ambicije. Dosad odgovor glasi ne, dosljedno, iz desetljeća u desetljeće, iz firme u firmu.