AlexNet (2012): Trenutak paljenja

Reci nekome u 2012. da radiš na neuronskim mrežama — sustavima koji pokušavaju, grubo rečeno, oponašati kako mozak uči prepoznavati stvari kroz gomilu primjera, umjesto da mu netko ručno propisuje pravila — i dogodi se čudna stvar: sugovornik te pogleda kao da si upravo priznao da vjeruješ u homeopatiju. Ne zlonamjerno, ne s podsmijehom — nego s onim tihim sažaljenjem koje ide uz rečenicu koja se ne izgovara: „Ah, ti si od tih.” Jer neuronske mreže su do tog trenutka već dvaput obećale svijet i dvaput ga nisu isporučile. Prvi put u zlatnom dobu LISP-a, šezdesetih i sedamdesetih, kad se umjetna inteligencija pisala u tom programskom jeziku, novac je tekao u rijekama, i svi su mislili da je opća umjetna inteligencija pitanje mjeseci. Drugi put kasnije, kad su obećanja ostala neispunjena, novac presušio i isto polje zaledilo pod imenom koje se do danas izgovara s nelagodom — AI zima, desetljeća u kojima je i sam spomen „umjetne inteligencije” na projektnom prijedlogu bio dovoljan da ti ga vrate nepotpisanog. Treći pokušaj bi bio, dopusti da ti to iskreno kažem, akademski ekvivalent traženja kredita nakon dva bankrota.

Zato ozbiljan computer vision — dio informatike koji se bavi time kako natjerati računalo da „gleda” fotografiju i prepozna što je na njoj, umjesto da samo vidi gomilu piksela — 2012. ne diže glavu prema mrežama koje „same uče”. Ozbiljan computer vision radi rukama. Inženjer sjedi i doslovno crta pravila za to kako izgleda rub na slici, kako izgleda kut, kako izgleda tekstura kože nasuprot teksturi asfalta. Zovu se SIFT, zovu se HOG, imena koja zvuče kao skraćenice za nešto dosadno, i jesu — ali djeluju, respektabilno i predvidljivo, korak koji se svake godine popravi za bijedni postotak, dva. Znanost napreduje decimalama. Nitko ne očekuje ništa drugo.

U Torontu, dovoljno daleko od centara pažnje da to nikome ne upada u oči, jedan profesor to ne prihvaća. Geoffrey Hinton se tim mrežama bavi već trideset godina, kroz oba kruga sramoćenja, i u zajednici je omiljen na onaj poseban način na koji je omiljen rođak koji na svakom ručku ponovno donese onu istu ludu teoriju. Zovu ga, pola sa smijehom, pola s nelagodom, tipom fiksiranim na backpropagaciju — s jasnom porukom: rezultati, Geoff, gdje su rezultati. Backprop je skraćeno od backpropagacije, postupka kojim mreža uči iz svojih pogrešaka — o njemu će biti puno više riječi kasnije, za sada dovoljno je znati da je to Hintonova opsesija zbog koje ga cijela zajednica gleda popola sa štovanjem, popola sa sažaljenjem. On ima dva doktoranda, Alexa Krizhevskog i Ilyu Sutskevera, i ima ideju koju svi imaju — ali on ima i nešto što nitko drugi nije spreman uložiti. Vrijeme. I dvije grafičke kartice.

Ne serverske, ne znanstvene, ne nešto što bi fakultetski proračun platio bez pitanja — dvije obične GTX 580, iz istog soja silicija stvorenog da renderira eksplozije u pucačinama, a ne da klasificira mačke. Kartice zuje u studentskoj sobi mjesecima, tiho, dok se cijelo polje vani i dalje kladi na ručno crtane rubove.

Datum kad će sve to prestati biti šala već je zakazan. Zove se ImageNet, natjecanje u kojem strojevi prepoznaju milijune slika, a rezultati stižu u jesen 2012. Do tog jutra riječ „neuronska” u istoj rečenici s riječju „revolucija” zvuči kao vic. Do te večeri — ne.

Zamisli natjecanje gdje je pobjednička disciplina — gledanje. Ne trčanje, ne skok u dalj. Gledanje slike i pogađanje što je na njoj. Zvuči kao nešto što bi trebalo biti trivijalno i za računalo iz 2012., i za psa, i za tvoju baku. Nije bilo. Pokrenula ga je profesorica Fei-Fei Li s Princetona (kasnije Stanforda), i mjeri se, u suštini, sasvim jednostavna stvar: za svaku sliku algoritam smije dati nekoliko pogodaka — recimo pet — i broji se koliko puta se točan odgovor nalazi među njima. Ako je stvarno mačka, a algoritam je rekao „pas, auto, mačka, stolica, oblak”, to se računa kao pogodak. Kad zbrojiš sve promašaje, dobiješ takozvanu stopu greške — i baš tu brojku će 2012. netko srušiti tako brutalno da će cijela struka zastati i pitati se što se, dovraga, upravo dogodilo.

Prvo, baza. Milijuni slika, ručno označene — mačka je mačka, autobus je autobus, netko je sjedio i klikao kroz stotine tisuća fotografija i tipkao što na njima vidi. Ta armija anonimnih klikača — dobrim dijelom obični ljudi plaćeni sitniš po zadatku preko servisa za mikro-poslove — jest razlog zašto će ova priča uopće imati zaplet. Bez te baze, sve što slijedi ostaje akademska fusnota. Zapamti taj detalj, vratit ćemo mu se, jer bez dosadnog i podcijenjenog rada tisuća nepoznatih ljudi ne bi bilo revolucije o kojoj pišemo cijelo ovo poglavlje.

Drugo, samo natjecanje. Svake godine ekipe iz cijelog svijeta pokušavaju natjerati algoritam da pogleda fotografiju i pogodi je li to leopard, harmonika ili tostirani sendvič — kategorija ima na tisuće, slika na milijune, a mjeri se koliko puta algoritam pogriješi. I evo poante, evo zašto je 2012. bila drugačija: godinama je napredak izgledao kao puzanje. Netko skine grešku za jedan postotni bod, netko drugi za pola. Slavi se decimalna zareza. Cijelo polje računalnog vida sjedi zaglavljeno pod stropom koji se zove ručno dizajnirane značajke: inženjeri fizički sjede i smišljaju formule koje govore računalu kako izgleda rub, kako izgleda kut, kako izgleda tekstura kože naspram teksture kore drveta. SIFT, HOG, imena koja danas nikome ništa ne znače, a nekad su bila vrhunac umijeća. Zamisli da moraš ručno napisati uputu za prepoznavanje lica, rečenicu po rečenicu, i onda se čudiš zašto ne prepoznaje bradu.

Treći krug straha, dakle. Treći put da netko kaže „ovo će naučiti sama” pred publikom koja je to već čula, i koja se već opekla. Nisu ih ignorirali iz zlobe, nego iz umora. Neuronske mreže su bile onaj tip iz svake ekipe koji uporno tvrdi da će mu ideja upaliti, dok mu svi ostali kimaju glavom i u sebi mole da prestane pričati o tome na sastancima. Samo što ovaj put, u nekoj studentskoj sobi u Torontu, dvije obične grafičke kartice za igranje spremaju se da svima začepe usta u jednom danu — i taj dan tek dolazi.

Toronto, ljeto 2012. Soba nije ono što bi zamislio kad kažeš „ovdje se rađa budućnost”. Nema ploča ispisanih formulama do stropa, nema tima od dvadeset ljudi, nema pametnog logotipa na vratima. Ima jedan stol, jedan krevet u kutu (jer se spava malo i loše) i kućište računala koje zuji kao da će svaki čas odletjeti u orbitu. Unutra su dvije grafičke kartice. Alex Krizhevsky, doktorand kojemu strpljenje nije vrlina nego stanje uma, ubacio je te dvije kartice u obično, jeftino kućište kakvo bi kupio za igranje, i zaključio nešto što će se pokazati kao jedna od najprofitabilnijih zabuna u povijesti tehnologije: da čip dizajniran za renderiranje eksplozija u pikselima može, ako ga malo prisiliš, raditi matrično množenje za neuronsku mrežu brže nego bilo koji procesor na tržištu.

Ovo nije bio plan NVIDIA-e. Nitko u toj tvrtki 2006. nije sjeo i rekao: „Hajmo napraviti čip koji će za šest godina pokrenuti umjetnu inteligenciju.” Htjeli su samo da sjene u igrama izgledaju bolje. Ali GPU — grafička kartica, čip specijaliziran za crtanje slike na ekranu — po prirodi posla je građen za jednu specifičnu vrstu ludila: tisuće sitnih, glupih računa koje radi paralelno, istovremeno, bez da jedan čeka drugog. A neuronska mreža, kad je razgolitiš do kostura, traži baš to — gomilu množenja i zbrajanja, opet i opet, milijune puta u sekundi. GPU nije znao da radi znanost. Radio je isto što i inače, samo umjesto piksela za igru, množio je brojeve za mrežu koja uči gledati svijet. Slučajnost je postala sudbina — i cijela industrija koja danas vrijedi bilijune dolara duguje zahvalnost jednom studentu koji nije htio kupovati skupi server, nego je uzeo ono što je imao doma.

Ono što je ta mreža radila kad je krenula žvakati fotografije zove se konvolucijska neuronska mreža — CNN — i zvuči kompliciranije nego što stvarno jest. Zamisli da tražiš mačku na slici, ali umjesto da nekome nabrojiš pravila „mačka ima šiljate uši, brkove i rep”, ti mreži samo daš milijun slika mačaka i kažeš: nauči sama. Prvi sloj mreže ne traži mačke — traži rubove, crtu gdje se svjetlo naglo pretvori u tamu, kut, liniju. Sljedeći sloj uzima te rubove i sklapa ih u nešto složenije: krug, oblik uha, teksturu dlake. Treći sloj to sklapa dalje, u oblik lica. I tako, sloj po sloj, mreža sama izgrađuje hijerarhiju od najsitnijeg detalja do cijelog objekta, bez da joj ikad neki inženjer rekao što je mačka. Do tog trenutka ljudi su te značajke rubova programirali ručno (sjećaš se SIFT-a i HOG-a iz prošle sekcije?). Ovdje mreža to radi sama, i baš ta razlika će za sat vremena šokirati cijelu prostoriju u Firenci.

Kako mreža uopće zna je li pogodila ili pogriješila? E tu na scenu stupa backpropagacija — riječ koja zvuči kao naziv za tajnu vladinu operaciju, a u suštini je jednostavna ideja: mreža pogodi, provjeri koliko je pogriješila, i onda tu grešku pošalje unatrag kroz sve slojeve, malo po malo ispravljajući svaku sitnu odluku koja je do te greške dovela. Radi to milijunima puta, na milijunima slika, i svaki put se malo popravi. Zamisli da učiš gađati košarkaški koš zavezanih očiju, ali netko ti nakon svakog šuta kaže „malo lijevo” ili „malo jače” — nakon dovoljno pokušaja, pogodit ćeš i zavezanih očiju. Backprop postoji od osamdesetih. Nije nova ideja. Ali dosad je nedostajalo dvoje: dovoljno podataka da mreža stvarno nauči nešto korisno, i dovoljno računalne snage da to ne traje deset godina po pokušaju.

I onda, tog ljeta, u toj sobi, stižu trikovi koji odjednom sve to guraju preko crte. Prvi je ReLU — glup, ali genijalno glup trik: umjesto starih matematičkih funkcija koje su usporavale učenje jer su gušile signal (sigmoid, tanh — ne moraš pamtiti nazive), mreža sad koristi funkciju toliko jednostavnu da je skoro sramotno reći je naglas: ako je broj pozitivan, pusti ga kroz; ako je negativan, stavi nulu. To je sve. I to jednostavno pravilo ubrzalo je treniranje toliko da je ono što bi trajalo mjesecima sad trajalo dane. Drugi trik zove se dropout, i logika mu je gotovo perverzna: dok mreža uči, nasumično joj se gase dijelovi neurona, kao da namjerno sabotiraš pola svog mozga dok učiš za ispit. Zvuči glupo, ali tjera mrežu da ne postane lijena, da se ne osloni na par „štrebera” neurona nego da cijela mreža nauči raditi zajedno. Treći trik je augmentacija podataka — kad nemaš dovoljno slika, uzmeš iste slike i okrećeš ih, izrežeš, malo im promijeniš boju, i mreži to izgleda kao potpuno nova slika. Prevariš je, u dobrom smislu.

Nijedan od ovih trikova sam za sebe nije bio revolucija. Backprop je star. ReLU je bio poznat. Konvolucija — tehnika gdje mreža „klizi” malim filterom preko slike i traži uzorke, poput šablone koju pomičeš preko papira da uočiš rubove i oblike — postojala je od LeCunovog rada s poštanskim brojevima, gdje je slična ideja korištena da se prepoznaju rukom pisani brojevi na omotnicama, godinama prije. Ono što je bilo novo — po prvi put u istoj sobi, u isto vrijeme, na istom stolu — bilo je da su se konačno spojila tri sastojka koja su prije svaki zasebno postojala, ali nikad zajedno u dovoljnoj količini: dovoljno podataka da mreža ima što učiti (ImageNet, milijuni ručno označenih slika), dovoljno računalne snage da se to nauči u razumnom vremenu (dvije gaming kartice, dakle grafički procesori napravljeni za igrice, umjesto tromjesečnog čekanja na jednom običnom procesoru), i par malih, pametnih trikova koji su glačali sve grube rubove usput. Nijedan sastojak sam nije bio dovoljan. Sva tri zajedno, u toj sobi, tog ljeta — to je bila kritična masa.

Krizhevsky i Sutskever su te tjedne živjeli u ritmu koji zvuči manje kao znanost, a više kao kockanje — pokreni trening, čekaj dane da vidiš rezultat, popravi parametar, pokreni ponovo. Nisu znali da će ovo biti dan koji se pamti. Radili su ono što doktorandi rade — trpali podatke u mašinu (u tu neuronsku mrežu, sustav koji se, grubo rečeno, uči na primjerima onako kako se i mozak uči — pokažeš mu tisuću mačaka i on sam počne hvatati što je to „mačkasto”) i molili se da broj u zadnjem redu bude manji nego jučer. Kartice su grijale sobu ljeti do neugode. A negdje u tom zujanju, bez fanfara, bez najave, rađala se mreža koja će za par tjedana promijeniti što svijet misli da računalo može vidjeti.

Listopad 2012. Firenca, Italija. Europska konferencija o računalnom vidu — ECCV — puna dvorana ljudi koji su cijelu karijeru gradili na ručno izrezbarenim „značajkama”, na SIFT-u i HOG-u, koje su brusili godinama da izvuku pola postotka bolje prepoznavanje. Na ekranu se pojavljuju rezultati ImageNet natjecanja za tu godinu. Netko čita brojku. U dvorani nastaje tišina koja traje sekundu duže nego što tišina obično traje.

Stopa greške najboljeg sustava te godine: 15,3 posto. Prošlogodišnji pobjednik, sustav građen na klasičnim metodama: 26 posto. Za usporedbu — cijelo desetljeće natjecanja do tog trenutka guralo je tu brojku dolje po jedan, dva postotna boda godišnje, uz mukotrpno inženjerstvo i doktorske teze posvećene rubovima na fotografijama. A onda dođe tim s Toronta i u jednom potezu obriše deset postotnih bodova. To nije napredak. To je netko drugi ušao u utrku s biciklom protiv motora.

Sustav se zove AlexNet, po Alexu Krizhevskom, doktorandu koji ga je trenirao na dvije grafičke kartice u svojoj studentskoj sobi — iste vrste kartica kakve inače crtaju eksplozije u videoigrama, samo ovaj put prisiljene da noćima računaju umjesto da zabavljaju — uz Geoffreyja Hintona i Ilyu Sutskevera kao suradnike. Nitko u dvorani te večeri ne zna gotovo ništa o pojedinostima — koliko slojeva ima ta neuronska mreža (sustav koji, pojednostavljeno, uči prepoznavati stvari iz primjera, umjesto da mu netko ručno propisuje pravila), kakav je trening korišten, koje su kartice posrijedi. Znaju samo brojku. A brojka je dovoljna da se cijela prostorija, u razmaku od jednog popodneva, prebaci iz faze „zanimljivo, čekajmo da ovo netko potvrdi” u fazu „moram to odmah pročitati, sad, večeras”.

Sljedećih nekoliko sati, po svjedočanstvima ljudi koji su bili u toj dvorani i onih koje su te večeri nazvale kolege koji nisu stigli u Firencu, dogodilo se ono što se u znanosti rijetko dogodi tako brzo: konsenzus je pukao preko noći. Istraživači koji su ujutro još pisali radove o poboljšanju SIFT deskriptora — one iste mukotrpne inženjerije koja je desetljeće gurala natjecanje po jedan postotni bod godišnje — navečer su već tražili pristup ImageNet skupu podataka i pitali kolege gdje mogu nabaviti grafičke kartice slične onima iz rada. Kasnije se u zajednici pričalo, gotovo kao dosjetka, da su te večeri svi „preko noći postali ljudi dubokog učenja” — dubokog učenja, dakle pristupa u kojem se neuronska mreža sama uči prepoznavati stvari iz primjera, umjesto da joj čovjek ručno propisuje pravila. Nije to bila hiperbola. Laboratoriji koji su godinama gradili karijere na jednom pristupu, u tjednima su počeli mijenjati smjer istraživanja.

Ono što taj datum čini posebnim nije samo brojka, koliko god bila brutalna. To je trenutak u kojem se lomi vremenska crta cijele discipline — sve prije te večeri u listopadu 2012. postaje „prije”, sve poslije postaje „poslije”. Malo je datuma u povijesti tehnologije za koje se to može reći s takvom preciznošću. Nema tu polaganog prihvaćanja, nema desetljeća oklijevanja kao kod osobnih računala ili interneta. Postoji jedna prezentacija, jedna tablica s brojkama — i cijela struka koja istog dana shvaća da je igrala krivu igru.

Dobro, sad zaustavi vrpcu na trenutak. Dvorana je još u šoku, netko trči po hodniku da javi kolegama — ali prije nego nastavimo satnicu te večeri u listopadu, treba objasniti jednu stvar koja će svakom iskusnijem stručnjaku u toj prostoriji zapeti za grlo: ovo NIJE nova ideja. Konvolucijske mreže — isto načelo po kojem mreža sama uči prepoznavati slojeve značajki, od rubova preko oblika do cijelih lica — Yann LeCun je demonstrirao još 1989., na sasvim praktičnom problemu: čitanju poštanskih brojeva za američku poštu. I radilo je. Stvarno je radilo — banke su to koristile za čitanje brojeva na čekovima kroz cijele devedesete. Pa dobro, ako je čovjek to riješio 1989., zašto je 2012. ovo revolucija, a ne — kako da kažem — reprint?

Odgovor je da je ideja bila spremna dvadeset i tri godine prije nego što se pojavila infrastruktura koja bi joj dopustila da poleti. Zamisli genijalnog kuhara koji smisli savršen recept, ali nema pećnicu — samo malu ringlu na kampiranju. Recept je dobar, ringla nije problem recepta. LeNet je radio na poštanskim brojevima jer su poštanski brojevi mali, crno-bijeli i bilo ih je razumno malo za istrenirati mrežu. ImageNet je 1,2 milijuna slika u boji, razdijeljenih u tisuću kategorija, gdje mačka mora biti prepoznata kao mačka bez obzira gleda li te sprijeda, straga, iz sjene ili s pola tijela skrivenog iza kaktusa. Ista arhitektura, drugi planet zadatka.

Treba se, dakle, poklopiti troje. Prvo — podaci. Ne bilo kakvi, nego oni milijuni ručno oznakovanih slika koje je ekipa profesorice Fei-Fei Li sa Stanforda skupljala godinama, batrgajući se s jeftinom radnom snagom preko interneta da netko, bilo tko, sjedi i tipka je li ovo pas ili vuk (ta muka s oznakama se točno ovdje isplatila, do zadnjeg centa i zadnje dosadne oznake). Drugo — sirova računalna snaga, i ne ona skupa, znanstvena, nego ona jeftina, masovno proizvedena za klince koji igraju pucačine (ona priča o grafičkoj kartici građenoj da renderira eksplozije u Doomu vraća se točno ovdje — matematika iza eksplozija ista je matematika koja treba neuronskoj mreži). I treće, ono najteže za kvantificirati — netko koji nije odustao kroz cijelu zimu.

I tu je poanta koja vrijedi za pola ove enciklopedije, ne samo za ovo poglavlje: ista ideja, u krivom trenutku, zove se hereza. Perceptron u pedesetima, konekcionizam u osamdesetima, LeCun i njegovi poštanski brojevi u devedesetima — sve je to bilo dovoljno dobro da radi, nikad dovoljno dobro da promijeni svijet, jer svijet nije imao ni gorivo ni pećnicu za to. Ista ideja, u pravom trenutku, zove se revolucija, dobije naziv po tvom studentu i postane datum od kojeg cijela struka počinje brojiti godine. AlexNet nije bio pametniji od LeNet-a u nekom dubokom, konceptualnom smislu. Bio je isti recept, samo napokon u pećnici koja je bila dovoljno velika.

Ako ništa drugo, ovo treba utješiti svakog čovjeka kojem ideja padne u vodu jer joj, kako se to kaže, „vrijeme još nije došlo”. Možda i nije. Ali negdje u Torontu netko je čekao trideset godina da dođe — i kad je došlo, čekao je da bude baš tamo.

Nekoliko mjeseci. Toliko je trebalo Googleu da shvati što je upravo kupio, a nije bio jedini. Hinton, Krizhevsky i Sutskever su nakon ImageNeta postali, u praktičnom smislu, komad imovine — troje ljudi i jedna mapa s kodom, upakirani u firmu koja se zvala DNNresearch i koja nikad nije prodala ni jedan proizvod. Nije trebala. Aukcija je bila stvarna, s pravim ponudama — Google, Microsoft, Baidu, a u sjeni se već motao i DeepMind, tada mladi londonski laboratorij za umjetnu inteligenciju koji će godinama poslije postati jedan od najvažnijih igrača u cijeloj priči. Dobio je, naravno, Google. Cijena se nikad nije objavila kao brojka na naslovnici, ali procjene govore o desecima milijuna dolara. Za troje ljudi. Bez ijednog patenta koji bi prodavač inzistirao da spomene, bez ijednog reda koda koji nije već objavljen na konferenciji tjedan-dva prije. Kupovali su, u suštini, mozgove i tempiranje. I imali su pravo.

Jer ono što se dogodilo unutar iduće godine nije bilo napredovanje. Bilo je preslagivanje cijelog stola. Računalni vid (computer vision, polje koje se bavi tim kako naučiti računalo da „vidi” i razumije sadržaj slike) desetljećima je gradio katedrale od ručno izrezbarenih značajki — rubovi, gradijenti, histogrami, ono SIFT i HOG od kojih smo pisali — i to je u godinu dana postalo arheologija. Svaki respektabilan rad na svakoj respektabilnoj konferenciji od 2013. nadalje počinjao je istom rečenicom, u nekoj varijaciji: koristili smo konvolucijsku mrežu — posebnu vrstu neuronske mreže koja sliku ne gleda kao gomilu brojki nasumično, nego uči prepoznavati obrasce sloj po sloj, malo kao što bi ti prvo prepoznao obris, pa boju, pa tek onda shvatio da gledaš mačku. Ljudi koji su cijelu karijeru posvetili poliranju ručnih filtara odjednom su morali odlučiti hoće li se prekvalificirati ili postati fusnota. Većina se prekvalificirala. Brzo.

ImageNet, taj poligon s milijunima slika koji je godinama bio mjesto gdje se napredak mjerio u mrvicama, prestao je biti izazov u doslovno nekoliko ljeta. Stopa greške koja je 2012. pala na petnaestak posto — već sama po sebi šok — do 2015. je spuštena ispod razine koju postižu ljudi kad rade istu klasifikaciju. Ne približno ljudskoj razini. Bolje od nje. Mreža je prepoznavala pasmine pasa koje polovica ljudske populacije ne bi razlikovala ni s uputama za korištenje. Natjecanje koje je Fei-Fei Li osmislila da guralo polje desetljeće dana ugašeno je 2017., jer više nije imalo smisla — problem je bio riješen prije nego što je itko stigao napisati udžbenik o tome kako ga rješavati.

⚙️ I tu je onaj dio koji vrijedi zapamtiti dok skrolaš telefonom: svaki put kad ti aplikacija sama prepozna lice na fotografiji, kad Google Photos nađe „sve slike s plaže” bez da si ih ikad označio, kad auto zakoči sam vidjevši pješaka — sat nula za sve to je 30. rujan 2012. Ne prvi CNN, ne prva ideja. Taj dan, ta objava rezultata, taj trenutak kad je cijelo polje prestalo sumnjati.

Ali vid je bio samo prvi domino, i to je bilo teško vidjeti u tom trenutku 2012., iako je, kad malo razmisliš, sasvim logično. Ako mreža sastavljena od slojeva koji uče sami, bez ičije upute, može naučiti prepoznati mačku bolje od čovjeka — zašto ne bi mogla naučiti i jezik? Zašto ne bi mogla naučiti prevesti rečenicu, prepoznati govor, igrati igru u kojoj gubi svaki velemajstor na planeti? Pitanja su u godinama koje su slijedile počela padati jedno za drugim, kao da je netko upravo srušio prvu pločicu domina, a ostatak reda samo čekao svoj red. Treći dio ove knjige tek počinje — a alat koji će za nekoliko poglavlja doslovno progutati sve ove probleme odjednom, transformer, još čeka svoj datum u sedamnaestom poglavlju. Za sada je dovoljno znati da je vrata otvorio baš ovaj dan.