NVIDIA: Od Quakea do AI prijestolja

Godina je 2012., recimo, ili malo prije, malo poslije — nije bitno, jer u ovoj priči godine dugo ne rade ništa dramatično. Ideš u trgovinu, ili na neki forum gdje se ljudi svađaju oko FPS-ova (misle igre gdje pucaš iz prvog lica, ne kartice koje mjere brzinu, mada se i to spominje u istoj rečenici, iz čiste ljubavi prema kraticama), i kupuješ grafičku karticu. NVIDIA. Zeleni logo, ventilator kao iz svemirskog broda, kutija koja obećava da će „Call of Duty” izgledati kao da si unutra. To je to. To je cijela priča o NVIDIA-i, koliko je Wall Street zna: firma koja gamerima prodaje pikselčiće brže nego konkurencija. Dosadna dionica. Ne neka propast, ne neka raketa — samo firma koja svake dvije godine izbaci novu karticu, tinejdžeri je kupe, ciklus se ponovi.

Na čelu te dosadne firme stoji čovjek u kožnoj jakni koji na pozornicama govori o poligonima i frame rateovima s entuzijazmom propovjednika — a to su, ako nisi gamer, samo sitni geometrijski oblici (poligoni) od kojih se slaže svaka 3D scena, i broj sličica u sekundi (frame rate) koji određuje hoće li ta scena teći gladno ili će se micati kao dijaprojekcija iz osnovne škole. Jensen Huang. Nitko ga tada ne zove vizionarom — zovu ga onim tipom s Computexa koji predugo priča o grafici. I zašto bi ga zvali drugačije? Firma mu je, gledano s vrha, upravo to: proizvođač skupih igračaka za ljude koji vole pucati virtualne vanzemaljce.

A ispod te dosade, tiho, već se dogodilo nešto što nitko u analitičkim izvještajima nije zapisao kao red u kojem stoji: ovo će promijeniti civilizaciju. Prije dvadesetak godina, još u doba kad su Doom i Quake tjerali igrače da vrište za bržom 3D karticom, NVIDIA je preživjela krvavi rat s desetak konkurenata i izašla kao jedna od rijetkih koje su i danas žive — pobjeda koju smo ispratili nekoliko poglavlja unatrag, u drugom dijelu ove serije, kad su padali 3dfx i ostali. Ta pobjeda natjerala ih je da do savršenstva nauče jednu vještinu: kako natjerati čip da istovremeno žonglira tisućama sitnih računa. Za piksele, doduše. Nitko tada nije mislio ni na što drugo osim piksela.

I onda je, negdje 2012., u jednom laboratoriju, mreža po imenu AlexNet počela učiti prepoznavati mačke na fotografijama. „Učiti” tu znači nešto konkretno: mreži pokažeš milijun fotografija s natpisom je li mačka ili nije, ona svaki put malo promijeni hrpu unutarnjih brojeva (zovu se težine), pogriješi, prilagodi ih još malo, i tako iznova i iznova, dok na kraju iz šuma brojeva ne izroni nešto što stvarno prepozna mačku — tome se kaže „trening”, i taj pojam ćeš odsad sretati na svakom koraku. Netko je, gotovo iz očaja, pokrenuo taj trening na dvije GeForce kartice, iste one koje su trebale renderirati eksplozije u pucačinama. I upalilo je. Ne malo bolje. Nevjerojatno bolje. Jer se pokazalo, mirno i bez fanfara, da je matematika iza tridimenzionalne scene u pucačini — gomila množenja matrica, opet i opet, milijun puta u sekundi — praktički identična matematici iza neuronske mreže koja uči razlikovati mačku od pekinezera.

Nitko na Wall Streetu to još ne vidi. Analitičari i dalje računaju koliko će se kartica prodati za Božić. Huang i dalje stoji na pozornici u kožnoj jakni i priča o frame rateovima. Ali negdje u pozadini, tiho, kotač se već okrenuo — samo što će trebati još nekoliko godina da svijet primijeti da čip za pucanje vanzemaljaca upravo postaje najvažniji komad silicija na planetu.

Vrati se na trenutak u 1996. Sjediš pred računalom, upravo si instalirao Quake, i pitaš se zašto ti igra izgleda kao da je nacrtana bojicama u polumraku. Odgovor je jednostavan: tvoje računalo računa svaki taj poligon, svaku sjenu, svaki teksturirani zid — na istom procesoru koji ti vodi Word i tablicu s izdacima. CPU je genijalac za sve, ali za jednu stvar je katastrofalno spor: crtanje tisuća trokutića šezdeset puta u sekundi. Doom i Quake nisu samo popularizirali pucanje po demonima, nego su stvorili tržišnu potrebu koja prije nije postojala. Trebao je čip koji radi jednu glupu stvar, ali je radi brzo i u ogromnim količinama.

Devedesete su za taj čip bile pravi rat — i kad kažem rat, ne mislim na marketinški obrat fraze, mislim krvavo. 3dfx Voodoo bio je kralj, prvi koji je dokazao da se 3D akceleracija — dodatni čip koji je preuzimao posao crtanja trodimenzionalnih prizora s CPU-a i radio ga brže — može prodati masama. ATI je grickao rubove. Matrox je imao svoje vjerne, PowerVR svoje čudake. A onda, negdje u toj gužvi, jedna mala firma iz Silicijske dolineʹ koju su vodila trojica inženjera — Jensen Huang, Chris Malachowsky i Curtis Priem — pokušavala je ne umrijeti prije nego što stigne do drugog kvartala.

NVIDIA nije bila najbolja jer je imala najbolju ideju. Bila je najbolja jer je preživjela dovoljno dugo da druge ideje same sebe pojedu. Riva 128, TNT2, pa onda GeForce 256, koji je 1999. dobio naziv »GPU« — Graphics Processing Unit — kao da je to nešto posebno, kao da procesor za grafiku zaslužuje vlastitu kategoriju uz CPU. E pa, ispalo je da zaslužuje. Samo ne iz razloga koji je bilo tko tada mislio.

Da demistificiramo o čemu pričamo, jer riječ »GPU« zvuči kao nekakva čarolija: u srži, grafička kartica je hrpa jednostavnih kalkulatora poredanih jedan pored drugoga, koji svi rade istu operaciju u isto vrijeme. CPU je jedan genijalac koji rješava zadatke redom, jedan po jedan, ali brzo i pametno. GPU je tisuću prosječnih učenika koji svi rješavaju identičan zadatak paralelno — a taj zadatak je, kad ga svedeš na piksele, uvijek isti: uzmi broj koji predstavlja boju i svjetlinu, pomnoži ga s drugim brojem koji predstavlja kut, sjenu, udaljenost kamere, i izbaci rezultat. Milijun puta u sekundi. Grafika, kad je skineš do kostura, nije ništa drugo nego mnoštvo množenja matrica koja se rade istovremeno.

Zapamti tu rečenicu, jer ćemo je za par stranica ponoviti u sasvim drugom kontekstu: množenje matrica, puno njih, istovremeno. Nitko u NVIDIA-inoj upravi 1999. nije razmišljao o neuronskim mrežama — imali su pune ruke posla s tržišnom bitkom protiv ATI-ja (kojeg će AMD kupiti tek 2006., ali rat za grafičke kartice trajao je i puno prije toga) i s tim da gameri prežive prijelaz na Windows 98 bez previše plavih ekrana. Ali u pozadini, u samoj arhitekturi čipa koji su gradili da bi renderirao demone i eksplozije, upravo su sklepali stroj koji je — sasvim slučajno — bio matematički identičan onome što treba neuronskoj mreži, tom računalnom sustavu koji uči prepoznavati uzorke tako da isto jednostavno računanje ponavlja milijun puta, da nauči prepoznati mačku na fotografiji.

To još nitko ne zna. Wall Street sigurno ne zna. Za sada je NVIDIA samo još jedna firma koja prodaje kartice tinejdžerima da mogu bolje pucati po prijateljima preko lokalne mreže. Ali temelji su postavljeni — za ono što slijedi, jednu od najčudnijih i najsporije isplativih oklada u povijesti tehnologije.

Godina je 2007. NVIDIA je upravo pobijedila u ratu 3D čipova — 3dfx je mrtav, ATI je konkurencija, ali ne prijetnja, GeForce je sinonim za grafičku karticu u svakom kućnom računalu koje se bavi ičim ozbiljnijim od tablice u Excelu. Normalna firma bi u ovom trenutku sjela, prebrojala pare i pitala se koju boju sljedeće kutije da lansira. Jensen Huang je umjesto toga pitao nešto sasvim drugo: što ako ovaj čip, koji smo dizajnirali da crta eksplozije u Quakeu, može raditi i nešto što nema nikakve veze s eksplozijama?

Odgovor se zvao CUDA — »Compute Unified Device Architecture«, ako baš hoćeš puno ime, ali nitko ga ne koristi jer zvuči kao naziv lijeka protiv žgaravice. Ideja iza kratice je, srećom, puno jednostavnija od naziva: GPU (ono što obični svijet zove grafička kartica) je, u srži, hrpa malih jedinica koje istovremeno rade isti jednostavan račun na puno brojeva odjednom. Za igru to znači: izračunaj boju i svjetlost za milijun piksela, paralelno i brzo. Ali piksel ne zna, i ne mari, da je piksel — za njega je to samo broj u matrici na koji se primjenjuje formula. A ako ne mora biti piksel, može biti bilo što: molekula u simulaciji proteina, cijena dionice u modelu rizika, broj u matrici težina neuronske mreže — mada o tome u 2007. baš nitko u zgradi nije razmišljao. CUDA je, drugim riječima, bila poruka znanstvenicima: dajte nam vaše obične matematičke probleme, mi imamo hrpu jeftinih tranzistora koji ih vole rješavati u gomilama.

Sad dolazi dio koji je Wall Street istinski zamrzio. Razvoj CUDA-e nije bio besplatan — trebao je novi silicij koji podržava opće namjensko računanje, ne samo grafiku, trebali su compileri (programi koji pretvaraju kod u jezik koji čip razumije), trebala je dokumentacija, trebali su inženjeri koji pišu alate za ljude koji nikad neće kupiti GeForce. Sve to je trošak koji se ne vidi ni u jednoj kutiji na polici u dućanu. Margina — postotak zarade koji firmi ostane od svake prodane kartice — je padala, analitičari su vrtjeli glavom i pisali izvještaje s pitanjima tipa zašto ova firma za igrače troši stotine milijuna na fiziku i kemiju koje nitko od njezinih kupaca ne treba. Dionica je za to razdoblje bila, blago rečeno, dosadna. Huang je nastavio trošiti.

Dok se u odjelima za odnose s investitorima vrtila ta ista pjesma iz godine u godinu, negdje sasvim drugdje CUDA je počela tiho okupljati publiku koju nitko nije predvidio. Fizičari su otkrili da mogu simulirati sudare čestica brže i jeftinije nego na klasterima superračunala. Kemičari su modelirali molekule. A onda, negdje na rubu te zajednice, upoznaju se prvi rudari kriptovaluta — to je priča za dva poglavlja dalje, ali vrijedi zapamtiti da je čip stigao prvo do njih, ne obrnuto. Svi ti ljudi imali su jednu zajedničku osobinu: nisu igrali igrice na tim karticama. Koristili su ih kao jeftino, dostupno paralelno superračunalo koje se mogao kupiti u dućanu informatičke opreme, a ne naručiti iz vladine agencije s odobrenjem od šest mjeseci.

Onda se dogodilo 2012. — i tu se ova priča spaja s onom iz dvanaestog poglavlja ove knjige. AlexNet, program koji je učio prepoznavati slike po uzoru na to kako mozak povezuje neurone (otud naziv „duboko učenje” — slojevi vještačkih neurona koji uče jedni na drugima), srušio je sve rekorde na natjecanju u prepoznavanju slika. Cijela ta zajednica je odjednom trebala isto što su fizičari i kemičari tiho koristili godinama — hrpu paralelnih množenja matrica (zamisli tablice brojeva koje se množe milijardama puta u sekundi; grafičkoj kartici je to prirođeno, baš zato što isto to radi kad crta poligone na ekranu), brzo, jeftino, dostupno. I tu je NVIDIA imala nešto što nitko drugi na planetu nije imao: pet godina zrelog softvera, biblioteka, kompajlera, zajednice programera koji već znaju pisati CUDA kod, i cijelu generaciju hardvera dizajniranu baš za tu vrstu posla. Intel je imao brže procesore za sekvencijalne zadatke. AMD je imao konkurentne grafičke kartice. Nijedan nije imao pet godina navike.

Ovo je onaj trenutak u priči gdje se, ako pratiš rimu iz petog dijela ove serije, sjetiš AWS-a — Amazon je godinama gradio infrastrukturu za vlastite potrebe prije nego što je shvatio da tu istu infrastrukturu može iznajmiti cijelom svijetu i time zaraditi više nego na prodaji knjiga. Najveće prilike, ispada, gotovo nikad ne izgledaju kao prilike u trenutku kad ih uzimaš. Izgledaju kao trošak koji ti kvari kvartalni izvještaj. CUDA je, gledano iz 2007., čist gubitak — novac bačen na znanstvenike koji nikad neće kupiti dovoljno kartica da to opravda. Gledano iz 2012., bila je jedina karta u ruci koju je vrijedilo imati.

Huang tu odluku, koliko je poznato, nije opisivao kao proročanstvo o dubokom učenju — nije 2006. sjedio u uredu i crtao dijagrame neuronskih mreža. Opisivao ju je puno jednostavnije: paralelno računanje je budućnost, za što god se ono pokazalo korisno. Nije morao znati za što. Morao je samo biti spreman kad netko drugi to skuži. I bio je.

OK, imaš karticu koja odjednom može raditi znanstveno računanje. Super. Ali sama kartica, koliko god brza, nije dovoljna — jer znanstvenik ili istraživač koji je htio istrenirati neuronsku mrežu nije htio pisati sirovi CUDA kod za svako pojedino množenje matrica. To bi bilo kao da ti dam najbolji mogući motor, ali te tjeram da sam izrežeš mjenjač, kočnice i volan prije nego što kreneš na cestu. Tehnički moguće. Nitko normalan to ne bi radio.

Tu NVIDIA napravi potez koji se, gledano unatrag, čini kao genijalna strategija, a u trenutku je bio — pretpostavljam — samo logičan sljedeći korak. Umjesto da prodaju samo hardver i kažu „sretno”, počeli su graditi biblioteke. Gotove, optimizirane, dosadne komadiće softvera koji rade najčešće potrebne operacije brzo i pouzdano, tako da ih programer samo pozove, a ne mora ih sam izmišljati. Najvažnija od njih zove se cuDNN — biblioteka specijalizirana baš za operacije koje neuronske mreže rade po cijeli dan: konvolucije, aktivacije, sve te riječi koje smo demistificirali u prethodnim poglavljima kao gomilu množenja i zbrajanja. cuDNN je te operacije naštimao da rade na NVIDIA hardveru brže nego bi ih ikad naštimao pojedinačni doktorand kojem je rok za disertaciju za tri tjedna.

I onda se dogodi ono što se u ovoj seriji događa svaki put kad netko izgradi dobar temelj: drugi ljudi grade na njemu. Google izbaci TensorFlow. Facebook (kasnije Meta) izbaci PyTorch. Oba su alata koja danas svaki student strojnog učenja spomene u prvom tjednu faksa — zamisli ih kao gotove komplete alata koji programeru omogućuju da sagradi i istrenira neuronsku mrežu bez da sam piše nisko-razinski kod za svaku sitnicu, malo kao kad kupiš montažni ormar umjesto da sam pilaš daske. O njima ćeš čitati detaljnije u poglavlju 14, gdje se ova priča i ta priča spajaju kao dva pritoka iste rijeke. Ali ključna stvar, ona koja se lako preskoči ako nisi pažljiv: oba ta alata, ispod haube, govore CUDA. Nisu neutralni. Nisu univerzalni jezik koji radi jednako dobro na bilo kojem čipu. Rade najbolje, najstabilnije i najbrže na NVIDIA hardveru, jer su na njemu i oko njega odrasli.

I tu dolazimo do onog dijela priče koji zvuči kao suhi ekonomski detalj, a zapravo je srce cijelog poglavlja. Zove se lock-in, i nije ništa mistično — samo znači da si toliko duboko uronio u jedan sustav da izlazak postaje bolniji od ostajanja. Zvuči poznato? Trebalo bi. U knjizi 3 smo gledali kako je Windows postao neizbježan ne zato što je bio najbolji operativni sustav, nego zato što su svi programi bili pisani za njega, pa je izlazak iz Windowsa značio izlazak iz gotovo svega. x86 arhitektura — onaj temeljni dizajn procesora na kojem su desetljećima počivala gotovo sva kućna i uredska računala — izvela je istu foru s procesorima. Sad gledaš potpuno istu predstavu, samo s drugim glumcima: AI zajednica nije nužno birala NVIDIU jer je vjerovala u njihovu misiju. Birala je NVIDIU jer su tamo bile biblioteke, tamo je bila dokumentacija, tamo su bili primjeri koda koje možeš kopirati (uz obaveznu promjenu jedne-dvije linije, dakako) i odmah nešto pokrenuti.

Znaš onaj osjećaj kad shvatiš da je netko odigrao šah dok si ti mislio da igra dame? E, ovo je to. Samo umjesto figura, radi se o bibliotekama koda koje ni ne vidiš, a koje su tiho odlučile tko će voditi najveću tehnološku utrku desetljeća prije nego je utrka i počela.

Onda se, negdje oko 2017., dogodi treći nepredviđeni gost na zabavi na koju NVIDIA nije ni znala da je pozvala. Prvi gost su bili gameri — ti su normalni, njih se očekivalo. Drugi gost je bila znanost, pa AI — njih smo upravo otpratili u prošloj sekciji, s dužnim poštovanjem. A onda se na vrata pojavi treći, malo znojan, s grafom koji ide gore desno i rečenicom koju svaki gamer na svijetu i danas izgovara kroz zube: rudari kriptovaluta.

Sjećaš se iz priče o rudarenju kriptovaluta — Bitcoin, Ethereum, „dokazi rada” koji se svode na to da milijun čipova nešto računa uzastopno, brzo i besmisleno, samo da bi jedan od njih prvi pogodio broj koji vrijedi novac. Taj broj se zove hash — rezultat matematičke funkcije koju je nemoguće „preskočiti” pametnim razmišljanjem, nego jedino nabrajanjem, pokušaj po pokušaj, dok netko ne izvuče kombinaciju koja zadovoljava uvjet. Rudari se, drugim riječima, natječu ko će prvi nabrojati taj pravi broj — a to je posao za silu, ne za pametovanje. E sad, što je GPU? Tisuće malih jezgri koje istovremeno rade jednostavne račune. Isto ono što je GeForce radio za piksele, isto ono što je radio za neurone — sad je radio i za hashove. Treća slučajna primjena istog čipa, i opet iz čisto drugog svemira od onog za koji je originalno projektiran.

NVIDIA je, iskreno, bila u pomalo šizofrenom položaju. S jedne strane — novac. Kvartalni prihodi koji su iznenadili čak i njihove vlastite analitičare, jer nitko u planiranju proizvodnje nije stavio redak u tablicu koji glasi „rudarenje kriptovaluta” kad su crtali projekcije za 2017. S druge strane — baza gamera, ona ista publika koja je desetljećima kupovala GeForce kartice i držala firmu na životu dok su svi drugi umirali (3dfx, sjećaš se, groblje iz prošle sekcije) — ta baza je bila bijesna, i s pravom, jer nije mogla doći do kartica po normalnoj cijeni. Huang je pokušavao balansirati: puštao proizvodnju, a kad se priča ponovila u još žešćem valu 2021., lansirao je i posebne kartice pod nazivom CMP, bez video izlaza, namijenjene isključivo rudarima, u nadi da će odvojiti dva tržišta. Nije baš upalilo — rudari su i dalje kupovali obične gaming kartice čim bi se pojavile, jer su bile jeftinije po hashu.

A onda dođe obrat koji svaka priča o mahnitoj potražnji na kraju dobije: potražnja nestane. Ethereum promijeni algoritam, cijene kriptovaluta padnu, rudarske farme preko noći prestanu biti profitabilne, i odjednom se cijeli planet napuni rabljenim grafičkim karticama koje je netko mjesecima gulio na sto posto opterećenja. Cijene kolabiraju. NVIDIA, koja je upravo naručila proizvodnju za potražnju koja je izgledala vječna, sjedi na zalihama koje nitko ne želi kupiti po punoj cijeni, jer se na eBayu ista kartica, rabljena, nudi za pola cijene. Dionica to osjeti — pad koji analitičari zovu „crypto hangover”, a koji će se, gotovo identično, ponoviti nekoliko godina kasnije.

Lekcija koju je NVIDIA iz toga izvukla nije bila »izbjegavaj nepredvidljiva tržišta« — to bi bilo lako, i pogrešno, jer bi značilo odbiti novac koji dolazi. Lekcija je bila suptilnija: firma je naučila jahati valove koje ne kontrolira i, što je još važnije, ne može predvidjeti kad će se slomiti. Gameri, znanstvenici, rudari — tri sasvim različite publike, kupuju isti čip iz tri sasvim različita razloga, u tri različita ritma. Netko normalan bi to nazvao rizikom. NVIDIA je to, ispada, uskoro počela zvati diversifikacijom — a onda je, tiho, u pozadini svega toga, rasla ta četvrta publika o kojoj još nismo pravo pričali. Ona koja neće nikad prestati kupovati.

Sad presuda. Dvadeset godina poslije, kad se sve slegne, evo što je zapravo bilo: 3D akceleracija za Quake, preživljavanje krvavog rata s desetak mrtvih konkurenata, oklada na CUDA-u koju je Wall Street kaznio, rudari koji dignu potražnju pa je onda sruše, AlexNet koji slučajno pokupi baš tu karticu — sve to nije bio niz sretnih okolnosti. Bila je to jedna dosljedna oklada, ponavljana dvadeset godina, dok je svijet oko nje mijenjao mišljenje o tome čemu ta oklada zapravo služi.

Do kraja desetljeća NVIDIA više nije firma koja prodaje kartice gejmerima. Postala je infrastruktura. Svaki veći model koji se trenira bilo gdje na planetu — u Kaliforniji, u Pekingu, u nekom podrumu s previše ventilatora — trenira se na njihovom željezu. Ne zato što je najbolje po nekoj apstraktnoj mjeri, nego zato što je, zahvaljujući CUDA-i, jedino željezo za koje već postoji čitav kat softvera koji zna razgovarati s njim — takozvane biblioteke, gotovi paketi kôda koje programeri samo uzmu i nadograde, umjesto da svaki put pišu sve iz temelja. Konkurencija stiže s boljim čipovima na papiru i gubi, jer papir ne trenira modele — biblioteke treniraju modele, a biblioteke već dišu CUDA-u.

I onda dionica krene. Ne onim dosadnim, postupnim rastom na koji su navikli analitičari koji su NVIDIA-u godinama trpali u kutiju „gaming, ciklično, volatilno”. Nego onim ludim, skoro nepristojnim rastom koji baš nikoga ne uspije uvjeriti da je normalan dok se ne dogodi — a onda svi tvrde da su to od početka znali. Taj se uspon, obećavam ti, neće stati na ovom poglavlju. Vidjet ćeš ga ponovno, i to na vrhu, u knjizi 8, poglavlju 9, kad NVIDIA na kratko postane najvrjednija firma na svijetu. Zapamti ovo mjesto — ovo je gdje je krenulo, ne ono.

Ima u ovome i rima koju smo već vidjeli — Gates je znao da će softver jednog dana vrijediti više od hardvera i strpljivo je čekao da svijet to shvati, dok su ga zvali sretnikom. Huang je isto tako znao da će paralelno računanje jednog dana vrijediti više od pojedinačne brzine, i strpljivo je čekao da svijet nađe za to pravu upotrebu — samo bez ijedne od Gatesovih prljavih taktika. Nije mu trebalo gušiti konkurenciju niti spaljivati partnere. Trebalo mu je samo da bude spreman kad svijet pokuca. A on je, dvadeset godina zaredom, bio spreman.

Firma za igrače, u kožnoj jakni, čeka na vratima AI revolucije s ekosustavom koji je gradila pet godina prije nego je bilo jasno da će se rat baš tu odigrati. To nije bila slučajnost. To je bila jedina oklada koja je od početka imala smisla — samo je svijetu trebalo dvadeset godina da shvati na što se, zapravo, kladio.