DALL-E, Midjourney, Stable Diffusion (2022)

Upišeš rečenicu, dobiješ sliku — i cijela industrija umjetnosti odjednom nema pojma što bi s tim.

poglavlje 7/1618 min čitanja2020 – 2023

2022. Godina kad su strojevi već pisali (sjećaš se prošlog poglavlja, GPT-3 i njegovi rođaci) — i onda je netko pomislio: pa dobro, ako stroj može smisliti rečenicu, zašto ne bi smislio i sliku? Ne sliku u smislu da nacrta krug i kvadrat, nego sliku u smislu: napišeš mu „astronaut jaše konja, fotorealistično, dramatično svjetlo”, i on ti to — nacrta. U trideset sekundi. Bez kista, bez Photoshopa, bez ičega što nalikuje na trud.

Zamisli da imaš prijatelja koji je genijalan crtač, ali ga nikad nisi vidio kako crta. Samo mu šapneš u uho što želiš, on se povuče u drugu sobu i vrati se s gotovom slikom. Ne znaš kako je to napravio, ne znaš odakle mu ideja za sjenčanje, za kompoziciju, za onaj čudan detalj u pozadini koji nisi tražio, ali je nekako savršen. Upravo taj osjećaj imala je 2022. većina ljudi koji su prvi put upisali naredbu (»prompt«, kako se to zove) i gledali kako se piksel po piksel slaže nešto što nikad prije nije postojalo.

I baš kao i svaki put kad se otvori novo igralište, na njega su se dovukla trojica igrača, i svaki je došao s drugom filozofijom. OpenAI je, dosljedno svojoj paranoji, zaključao DALL-E 2 iza čekaonice i filtera — pristojno, kontrolirano, s dozvolom, tako da si se prvo morao prijaviti na listu čekanja i moliti da te puste unutra. Midjourney je, ni kriv ni dužan, odlučio da će normalan proizvod biti — bot na Discordu (to je ona platforma za chat i glasovne kanale koju inače koristiš da s prijateljima organiziraš raid u igrici). Da, na toj istoj platformi sad si tipkao naredbe i čekao da ti algoritam ispljune nešto što izgleda kao naslovnica fantasy romana koji ne postoji. A onda se pojavio treći, i taj treći nije pitao nikoga za dozvolu — Stability AI je jednostavno objavio kod. Cijeli model. Skini, vrti kod kuće, radi što hoćeš.

A negdje između te dvije strane stajali su ljudi čiji su radovi, bez pitanja i bez zahvale, poslužili kao hrana za sve te modele — umjetnici koji su gledali stroj kako imitira njihov potpis, njihov stil, godine truda, i pitali se je li ovo čudo ili pljačka. Spoiler: bilo je i jedno i drugo, ovisno koga pitaš. I upravo je taj sukob — zatvoreno protiv otvorenog, čudo protiv bijesa — obilježio godinu u kojoj je slika prvi put postala jeftina kao rečenica.

Prije nego što ti predstavim borce, moraš znati na čemu se tuku. Zato — pravila okršaja, objašnjena onome tko je zadnji put crtao u Paintu, s mišem koji se stalno zaglavljivao. Jer sve što slijedi, obje strane, cijeli meč — događa se unutar jedne jedine ideje, i ta ideja je, kad je skineš do gole kosti, apsurdno jednostavna.

Zamisli kipara. Ne onog s dlijetom koji dodaje kamen — obrnuto. Michelangelo je navodno rekao da je David već bio unutar bloka mramora, on je samo uklonio sve što David nije bio. Eto, to je diffusion model. Kreneš od šuma — čistog, nasumičnog, digitalnog smeća, milijuni piksela bačenih kockicom — i onda, korak po korak, uklanjaš sve što nije tvoja slika. Ne crtaš. Brišeš. Stroju daš rečenicu — „astronaut jaše konja na Marsu” — i on tu rečenicu koristi kao dlijeto: gleda u šum, pita se koji dio tog šuma najmanje sliči astronautu na konju, i taj dio malo počisti. Pa opet. I opet. Nekoliko desetaka puta, dok iz kaosa ne ispuca oblik. Isti šum, druga rečenica, druga skulptura izađe iz istog mramora.

E sad, kako stroj zna kako astronaut na konju uopće izgleda, i još važnije — kako zna povezati te riječi s pikselima? Tu na scenu dolazi CLIP, mehanizam koji je OpenAI skuhao prije nego što je bilo koji od naših dvoboraca zakoračio u ring. CLIP je, u suštini, prevoditelj između dva jezika koja inače ne razgovaraju — jezika riječi i jezika slika. Nahraniš ga gomilom parova (slika mačke + natpis „mačka”, slika zalaska sunca + natpis „zalazak sunca”) dovoljno puta, i on nauči da rečenica i slika mogu zauzeti isto mjesto u nekom apstraktnom prostoru značenja. Kad mu onda kažeš „astronaut na konju”, CLIP ne traži tu sliku u nekoj bazi — nema je, nitko je nikad nije nacrtao — nego kaže diffusion modelu: evo, otprilike ovo područje značenja ciljaj dok čistiš šum. Kipar dobiva upute na svom jeziku, ne na tvom.

I sad dolazi pitanje koje bi svaki iole radoznao gledatelj morao postaviti: dobro, ali zašto je ovo prije tri godine bilo znanstvena fantastika, a 2022. odjednom radi u tvom pretraživaču? Kratki odgovor je onaj isti koji si čuo i za jezične modele koji su ti pisali pisma — transformeri, podaci i sirova računalna snaga, samo sad prevedeni u vizualni jezik. Trebalo je dovoljno grafičkih kartica da model uopće nauči što je mačka, milijarde slika s interneta da ih nauči sve, i arhitekturu koja je konačno znala povezati riječ i piksel bez ljudskog posrednika koji ručno tipka pravila oblika ušiju. Kad su se te tri stvari poklopile — a poklopile su se otprilike u istom desetljeću kad su transformeri naučili čitati — ono što je jučer bila znanstvena fantastika postalo je gumb koji stisneš na mobitelu.

Kut prvi: zatvoreni (DALL-E, Midjourney)
§ 02

Kut prvi: zatvoreni (DALL-E, Midjourney)

Runda prva. U jednom kutu ringa stoji OpenAI, s DALL-E 2, i drži se kao netko koji je upravo pustio tigra iz kaveza i sad se pita je li to bila pametna ideja. Pristup je kontroliran do bola — lista čekanja. Prijaviš se, čekaš mailove, i kad te napokon puste unutra, osjećaš se kao da si dobio propusnicu za klub u koji te nitko normalan ne bi zvao. Zašto sva ta drama za alat koji crta mačke u astronautskim odijelima? Zato što OpenAI zna nešto što će cijela industrija shvatiti unutar godinu dana: dati ljudima stroj koji generira bilo koju sliku iz bilo kojeg opisa isto je što i dati im fotokopirku novca i reći im da budu odgovorni.

E pa zato OpenAI stavlja filtere. Puno filtera. Ne možeš generirati poznate osobe u kompromitirajućim situacijama, ne možeš tražiti nasilje, ne možeš tražiti golotinju, a sustav aktivno odbija promptove koji mirišu na problem još prije nego što ih uopće pokuša nacrtati. Svaka slika koju izbaci prolazi kroz nekoliko slojeva provjere — one koje paze na sadržaj i one koje paze da sutra ne završiš na naslovnici s riječju „skandal” u naslovu. Razumno? Da. Frustrirajuće? Isto tako, jer se ispostavlja da granicu između „kreativno” i „opasno” povlači pravni tim, a ne ti koji samo želiš vidjeti kako izgleda zmaj koji jede pizzu.

U drugom kutu ringa čeka nas čudnija priča. Midjourney nije ni aplikacija, ni web stranica na koju odeš i otvoriš nalog kao normalan čovjek — Midjourney je »bot« koji živi unutar Discorda i reagira na tvoje poruke kao da je član kanala. Upišeš naredbu /imagine, dodaš opis onoga što želiš vidjeti, i u zajedničkom kanalu, pred svima koji su tamo, pojavljuju se četiri varijacije tvoje ideje. Svi vide što svi generiraju. To je čudan, gotovo plemenski model distribucije — nema privatnosti, nema tišine, generiranje slike postaje javni performans u kanalu punom stranaca koji komentiraju tuđe promptove.

Ali Midjourney ima nešto što DALL-E 2 nema, a to je stil. Prepoznatljiv, gotovo potpisan izgled — dramatično svjetlo, bogata kompozicija, ona vrsta „premlaćen fotošopom pa opet oživljen” estetike koja odmah vrišti: ovo je Midjourney slika. Drugi modeli su alati; Midjourney je postao brend. Kad vidiš sliku s previše sjaja na koži i previše epskog neba, ne pitaš se je li generirana umjetnom inteligencijom — pitaš se koja verzija Midjourneyja je korištena. To je marketinški trik koji nitko nije planirao kao marketinški trik: estetika kao potpis, ljepota kao proizvod.

Obje strane ovog kuta ringa dijele istu bit, koliko god im pristupi bili različiti — Discord bot naspram API-ja iza liste čekanja. (API je, ako te zanima, samo sučelje preko kojeg jedan program „razgovara” s drugim: ti pošalješ upit, negdje daleko na tuđem serveru model odradi posao, i tebi se vrati slika — a sam model, njegova unutrašnjost, ostaje zaključan iza tih vrata.) Firma odlučuje što smiješ tražiti od stroja. Ne ti, ne zajednica, ne demokratski glas korisnika — firma, njeni pravnici, njeni moderatori, njena procjena rizika od tužbe. Moderacija je i značajka, jer te štiti od najgorih stvari koje bi internet napravio s neograničenom moći generiranja slika, i cenzura, jer te ograničava na ono što je nekome u sobi s odijelom bilo prihvatljivo. Zatvoreni model je sigurna kuća s dobrim bravama. Pitanje koje se postavlja svakom zatvorenom modelu je isto: sigurna za koga, i tko drži ključeve?

Kut drugi: otvoreni (Stable Diffusion)
§ 03

Kut drugi: otvoreni (Stable Diffusion)

Runda treća. U kutu je Stability AI, firma koju do tog trenutka nitko izvan usko zainteresiranih krugova nije čuo, i poteže potez koji će retrospektivno ispasti jedan od najvažnijih u cijeloj priči o generativnoj eksploziji: u kolovozu 2022. objavljuju Stable Diffusion i, umjesto da ga zaključaju iza API-ja kao OpenAI ili iza Discord bota kao Midjourney, jednostavno puste težine. Cijeli model. Datoteku od nekoliko gigabajta koju možeš skinuti, staviti na svoje računalo — da, ono s grafičkom karticom koju si kupio za igrice — i pokrenuti. Bez čekanja u redu, bez liste čekanja, bez nikoga na drugoj strani koji odlučuje smiješ li danas generirati ono što ti padne na pamet.

Zaustavi se na trenutak kod te riječi: težine. Ne mislim na fitness, mislim na milijarde brojeva koji čine ono što je model zapravo „naučio” — matematičku suštinu svih onih slika i opisa koje je proždao tijekom treniranja. Kad OpenAI ili Midjourney kažu da imaju model, oni imaju te brojeve zaključane na svojim serverima; ti im pristupaš kroz uzak prozorčić koji zovu API ili chat sučelje. Kad Stability kaže da objavljuje težine, to je ekvivalent tome da ti netko doslovno preda ključeve auta, umjesto da te samo vozi tamo kamo on hoće. Isti auto, potpuno druga vlasnička struktura.

I tu se, gledaj, ponavlja priča koju smo već vidjeli — samo u drugom kostimu. Sjeti se duha otvorenog koda koji je desetljećima ranije natjerao korporacije da priznaju da zajednica programera nekad radi bolje od interne inženjerske vojske; sjeti se demoscene — onih ljudi koji su još osamdesetih i devedesetih iz čiste ljubavi i inata pisali kratke, virtuozne audiovizualne programčiće, bez ičije narudžbe i bez ikakve plaće, samo da pokažu što se sve može izvući iz jadnog kućnog računala. Stable Diffusion je, u biti, ta ista energija samo prebačena na slike umjesto na kod. Netko negdje s domaćim RTX-om odluči da će probati nešto što nijedna firma nije planirala, i ispadne da je to upravo ono što je svijetu trebalo.

Ovo je onaj trenutak koji zaslužuje da ga upamtiš, jer ćemo ga u ovoj knjizi sresti opet, samo u većem i ozbiljnijem izdanju — kad dođemo do velikih jezičnih modela i pitanja smiju li njihove težine biti javne, cijela će se ta debata voditi na temeljima postavljenim baš ovdje, kod slika, 2022. godine. Ovo je bio poligon, prva runda rata koji se tek zahuktava: hoće li najmoćnije alate za stvaranje sadržaja kontrolirati desetak firmi s pravnim odjelima i moderacijskim politikama, ili će oni biti javno dobro, otvoreno svakome — pa i onome kome baš ne bi trebalo dati alat te snage.

Jer cijena slobode je, kao i uvijek, gola i nezgodna za gledanje. Kad ti netko preda potpunu kontrolu nad modelom, bez ičije moderacije, dobiješ i sve ono za što bi zatvorene firme, one s odvjetnicima i PR odjelima, dobile tužbu već u prvom tjednu. Deepfakeovi — lažne, generirane slike ili videi koji stavljaju tuđe lice na tuđe tijelo, u situacije koje ta osoba nikad nije birala i koje se nikad nisu dogodile. Eksplozija NSFW sadržaja (kratica za »not safe for work«, odnosno sadržaj koji je previše eksplicitan da ga otvoriš na poslu, a kamoli da ga javno prikazuješ) generiranog bez pristanka bilo koga na slici. Modeli fino podešeni isključivo za stvari koje ni ovdje ne moram nabrajati da bi ti bilo jasno o čemu govorim. Stability nije mogla to spriječiti nakon objave težina jer — i ovo je ključno — jednom kad su brojevi na tvom disku, nitko ih više ne može oduzeti. Nema serverskog prekidača koji netko u uredu u Londonu može ugasiti. Model živi na tisućama tvrdih diskova širom svijeta, kopiran, forkiran, mutiran u varijante koje ni sami autori ne bi prepoznali.

I upravo tu leži razlika koja definira cijelu ovu rundu dvoboja: OpenAI i Midjourney kontroliraju svoj model kao restoran kontrolira kuhinju — ti naručuješ, oni odlučuju što ide na tanjur, i mogu odbiti narudžbu ako im se ne sviđa. Stability je, jednom kad je pustila težine u javnost, tu moć izgubila zauvijek. To nije propust u sigurnosnom sustavu koji će se zakrpati sljedećom verzijom, nego temeljno svojstvo otvorenih modela — jednom otvoreni, ostaju otvoreni, i nijedan zakon, nijedna isprika, nijedno kajanje kompanije ne može ih vratiti u bocu. Pokret koji je ovdje rođen, taj takozvani „open weights”, nosi u sebi tu neugodnu istinu kao ugrađenu značajku: sloboda koju ne možeš dati djelomično. Ili je daš svu, ili je ne daš nikako.

Runde: umjetnici uzvraćaju
§ 04

Runde: umjetnici uzvraćaju

Dok se DALL-E, Midjourney i Stable Diffusion mjerkaju tko će deblje naplatiti pretplatu, u ring uskoči treći borac kojeg nitko nije zvao — umjetnici. I ne dolaze s rukavicama, dolaze s odvjetnicima i ekranom punim snimki zaslona koje dokazuju da je njihov potpis, njihov stil, njihov trud od dvadeset godina upravo završio kao jedan od milijardu parametara u tuđem modelu. Runda koju nitko nije najavio ispada najglasnija u cijelom meču.

Priča kreće od LAION-a — ogromne baze podataka koja sadrži više od pet milijardi parova slika i teksta, skupljenih s interneta bez pitanja, bez naknade i bez ijednog mejla koji bi glasio: „Hej, možemo li koristiti tvoju sliku za treniranje modela koji će te jednog dana zamijeniti?” Nitko nije pitao jer nitko nije morao — sve je bilo javno dostupno, a javno dostupno je, po logici onih koji su ga skidali, isto što i besplatno. Umjetnici se s tom logikom nisu složili. Ni malo. (Sličan rat vodi se i s tekstom — pogledaj poglavlje o ratovima podataka u osmoj knjizi, isti princip, samo druga vrsta pljačke.)

ArtStation, platforma gdje ilustratori objavljuju svoje portfelje, prva je osjetila pravi bijes: naslovnica preplavljena AI generacijama, prodavanim kao „umjetnost”, koje su se natjecale rame uz rame s radovima ljudi koji su na njima proveli tjedne. Prosvjed je bio jednostavan i grub, kao sve dobre digitalne pobune — ilustratori su masovno uploadali crveni znak „NE” preko simbola robota, dok je algoritam platforme to isto guralo na vrh feeda, jer je algoritam algoritam i njega boli briga za dramu.

Pa su krenule i tužbe, ozbiljne, s pravnicima koji ne rade badava. Getty Images, banka slika s licenciranim materijalom, tuži Stability AI tvrdeći da je Stable Diffusion progutao njihove fotografije zajedno s vodenim žigom — i to je dokaz koji je teško opovrgnuti kad model povremeno ispljune sliku s prozirnim „GETTY IMAGES” ispisanim preko nebodera. Skupina ilustratora podnosi kolektivnu tužbu protiv Stability, Midjourneya i DeviantArta. Sudovi se i danas muče s pitanjem koje pravo nikad nije trebalo rješavati: je li treniranje modela na tuđem djelu „fair use” — američka pravna doktrina koja u određenim slučajevima dopušta korištenje tuđeg autorskog djela bez dozvole, recimo za kritiku, parodiju ili istraživanje — ili je to najveće autorsko piratstvo u povijesti, samo obučeno u matematiku da izgleda pametnije.

Iza brojki i tužbi stoji nešto puno prizemnije — strah. Konkretan, egzistencijalni, plati-stanarinu-sutra strah. Ilustratori za knjige, konceptualni umjetnici za igre, freelanceri koji su desetljeće slagali portfolio klijent po klijent — oni su prvi kreativci koji su osjetili AI na svojoj koži, prije nego što je itko drugi shvatio da bi trebao brinuti. Cijene za komercijalne ilustracije padaju jer klijent može dobiti „dovoljno dobro” za pola sata i nula kuna. Ne treba ti bolji AI od tebe. Treba ti AI koji je jeftiniji od tebe — i taj prag je pao 2022.

Poštenja radi: nisu svi umjetnici u rovu. Dio njih je alat zagrlio bez trzanja — koncept-artisti koriste Midjourney za brzinske skice raspoloženja prije nego uzmu olovku, ilustratori ga zovu kao brainstorming partnera koji nikad ne kaže ne. Za njih AI nije zamjena za vještinu, nego brža verzija onoga što bi radili svejedno — samo bez tri sata praznog papira. Ta razlika, između alata koji ti pomaže i alata koji te briše, ovisi ponajviše o tome imaš li već vještinu koju štitiš, ili je gubiš prije nego je stigneš steći.

Presuda dvoboja (otvorena)
§ 05

Presuda dvoboja (otvorena)

Sudac je umoran, gleda dva boksača kako se drže za konopce i teško dišu, i shvaća da nema pobjednika. Bodovi su izjednačeni, i to ne slučajno — jer se ova dvojica ne tuku za istu titulu. DALL-E i Midjourney nose oznaku »sigurno, kontrolirano, plaćeno« — model iza brave, s vratarom koji odlučuje što smiješ nacrtati i kome ćeš platiti za privilegiju. Stable Diffusion nosi oznaku »slobodno, nekontrolirano, besplatno« — jer kad su težine (onaj ogromni fajl brojeva koji zapravo predstavlja sve što je model naučio, srž mozga bez koje ne postoji) vani, one su vani, i nitko ih više ne može vratiti u ured s pravnim odjelom. To nije dvoboj koji se rješava nokautom. To je dvoboj koji se rješava tako da obojica ostanu stojeći, u svojim kutovima, i rade svoje.

I ako ti se ovo čini poznato — trebalo bi. Ista podjela, isti ring, samo druga disciplina čeka te nekoliko poglavlja dalje, kad dođemo do jezičnih modela: zatvoreni GPT iza API-ja, otvoreni LLaMA-i i Mistrali koje svatko može skinuti i mijenjati po volji. Ovo nije slučajnost teme — ovo je obrazac koji se ponavlja na svakoj modalnosti koju AI dotakne: slike danas, tekst sutra, video (pretpostavljam) prekosutra. Netko uvijek nudi sigurnost s bravom, netko uvijek pušta ključeve u divljinu. Zapamti taj obrazac, jer će ti štedjeti vrijeme kasnije — kad vidiš isti dvoboj u novom kostimu, znat ćeš da si ga već gledao.

Ono što se zapravo dogodilo 2022. — a to je vrijedno zapisati, jer ćeš to prepričavati na kavi — jest da je kreativnost prvi put postala prompt: rečenica, niz riječi koje upišeš u polje i pritisneš enter. Prije toga, da nešto naslikaš, trebao si godine vježbe, kontrolu ruke, znanje perspektive, boje, sjene. Sad ti treba ideja i strpljenje da napišeš dovoljno detaljan opis. To je demokratizacija u najčišćem obliku — isto što se dogodilo kad je BASIC dao programiranje svakom klincu s računalom, isto što je VisiCalc učinio s računovodstvom. Svatko postaje »umjetnik«, u navodnicima ili bez njih, ovisno koga pitaš.

Ali demokratizacija nikad ne dolazi besplatno, i to je ona druga strana koju rijetko naglašavaš kad se hvališ novom igračkom. Ako svatko može napraviti sliku koja izgleda kao da je radio profesionalac s dvadeset godina staža, što se dogodi s vrijednošću tih dvadeset godina? Ilustrator koji je od dvanaeste crtao, koji je platio školovanje, koji je razvijao stil kroz tisuće loših crteža prije dobrih — taj čovjek sad konkurira nekome tko je smislio dobru rečenicu. Nije to isto. Ne mora biti isto da bi bolelo. Devalvacija vještine je cijena koju plaćaš za demokratizaciju alata, i ta se šteta ne osjeti odmah — dolazi s odgodom, kad tržište prestane plaćati za ono što je jučer bilo rijetko.