Ką skaityti apie AI: Dirbtinio proto įžanga
Ko gero geriausia įžanga į AI pasaulio reikalus - Dwarkesh Patel knyga "The Scaling Era: An Oral History of AI, 2019–2025". Žiūrim, ką turim.
Pas knygą atėjau iš Dwarkesh Patel podkastų, kuriuose jis yra krykštaujantis, kunkuliuojantis, bet dalykus gerai išmanantis jaunuolis, sumaniai kalbinantis skaitmeninių technologijų grandus.
Geras savybių derinys - gerai išmanai sritį, bet sugebi išsaugoti “nežiniuko” galvą. Tai leidžia užduoti pašnekovams pagrįstus, tačiau ir mums suprantamus klausimus.
O gal tai ir yra įdomaus pašnekovo apibrėžimas? Chm.
Tai, kas guli žemiau - yra keli vertingos informacijos sluoksniai. Jei atvirai - užsirašinėjau juos labiau sau, kaip konspektą, kad bet kada galėčiau sugrįžti ir pasitikrinti. Bet ir tau bus naudinga.
5 minutės - ir visos esminės AI temos lyg ant delno. Greičiausiai jos tau nepadės geriau naudoti ChatGPT, bet padorioje kompanijoje galėsi pasirodyti kaip naujausių technologijų dalykėlių išmanytojas.
Išskroskime ir apžiūrėkime knygos skeletą, ant kurio laikosi minčių, idėjų ir informacijos mėsa, raumenys bei gyslos.
Skeletas. Organizmas. Mėsa.
Knygos struktūra ir suteikia jai išskirtinumo. Dwarkesh - jaunuolis, todėl parašyti solidų veikalą apie dirbtinio proto džiungles būtų ne jo jėgoms.
Tad jis nulaužė “sistemą” - nuėjo lengviausiu keliu, bet šitas kelias - pats geriausias. AI vystosi žaibiškai, sugaudyti visus galus vienam žmogui kažin ar įmanoma.
Dwarkesh ir negaudo. Užsirašo krūvą klausimų ir eina kalbinti būrio svarbių AI lauko veikėjų. Kūrėjų, mokslininkų, pradininkų. Jiems ir užduoda klausimus.
Tačiau tai nėra įprasta pokalbių knyga. Dwarkesh pokalbius sukarpė gabaliukais ir iškaišiojo po knygą, kiekvieną skeveldrą padėdamas į jo temą. Tad vietoje standartinių pašnekesių, turime temas, apie kurias pakalba visi pašnekovai.
Knygą verta skaityti skaitmeniniu formatu (aš taip ir dariau). Mat kitas jos sluoksnis - begalė nuorodų į kitus veikalus (kad galėtum iki gyvenimo pabaigos apie AI skaityti), o esminės AI sąvokos pateiktos kaip aktyvios nuorodos.
Kiekviename žingsnyje gali nueiti į žodyną ir jas susidėti sau į atmintį. Sąvokų begalė - kiekviename puslapyje po 2-3. Ir lyg to nebūtų gana, knygos pabaigoje - keleas reikšmingų istorinių AI temos rašinėlių.
Štai taip Dwarkesh pavyko į kažkokią mūsų protui suvokiamą sistemą suvesti visą košę, kuri verda dirbtinio proto puode.
Beje, labai daili knygos svetainė, kurioje yra įspūdingai ją iliustruojanti animacija.
Svarbiausios temos
Tikiuosi, tau bus įdomu, ką čia toliau pasakosiu. 90 proc. čia sudėtų minčių atėjo tiesiai iš knygos, likę procentai - mano nebūtinai gilūs komentarai.
Bet jei mano ir tavo tikslas yra gauti dirbtinio proto pasaulio žemėlapį, tai reikia duomenų bei žinių, o ne interpretacijų.
Kiekviena dalis - knygos skyrius. Čia trūksta tik paskutinio, kuriame bandyta nuspėti ateitį. Prognozių pasakoti nematau prasmės, galbūt joms paskirsiu atskirą tekstą. Pakanka žinoti, kad prognozės - labai madingas AI temos fragmentas.
Pavadinimus ir vėl rašau angliškai, nes taip paprasčiau, patogiau ir aiškiau.
Let’s go.
Scaling.
Didžioji AI hipotezė - apie tai, kad viskas priklauso nuo “infrastruktūros” dydžio. Kuo galingesnis modelis - tuo jis protingesnis. Ši hipotezė apvertė ankstesnę logiką, kuri rėmėsi vis kokybiškesnio algoritmo gamyba ir genialų mokslininkų įžvalgomis.
Tuo tarpu “scaling hypothesis” teigia, kad algoritmai yra antraeiliai, o svarbiausia - modelio architektūra, galingumas ir energijos kiekis. To turėtų pakakti AGI, žmogų lenkiančiam dirbtiniam protui, išrasti.
Dėl to optimistai ir sako, kad AGI arba superprotas gali būti “pagamintas” per pora artimiausių metų. Tačiau hipotezę naudoja ir skeptikai, teigdami, kad nieko iš to nebus, nes sistemos tiesiog pasieks į fizinių galimybių ribą. Evoliucija sustos, nes nebus fiziškai įmanoma sukurti dar galingesnio modelio.
Ir šioje vietoje paprastai grįžtama atgal. Tariama, kad jei dirbtinio proto modelių dydis viršys fizines galimybes, teks ieškoti kitų kelių. Tikėtina - kurti naują, efektyvesnę modelių architektūrą arba išradinėti naujus algoritmus.
Evals.
Tai - ko gero antras dažniausiai girdimas žodis podkastuose apie AI. “Evaluation” - procedūros, kuriomis matuojami dirbtinio proto sugebėjimai. Nepaisant to, kad viskas čia grįsta visokiais moksliniais metodais, visi AI gamintojai ir tyrinėtojai pripažįsta, kad gyvena rūke ir pelkėse.
Esminis tikslas yra tas pats - matuoti, kiek AI priartėjo prie žmogaus proto. Tačiau niekas nežino, kaip veikia žmogaus protas - mūsų smegenyse nėra kertelės, kurioje telktųsi intelektas, protas ar išmintis. Nėra įmanoma atverti žmogui kiaušo ir iš specifinės vietos išsiurbti intelekto koncentratą.
Štai kodėl AI vertinimai migloti - nėra iki galo aiški galutinė vertinimo kartelė. AI įvertinamas pagal mūsų sugalvotus kriterijus, bet patys tyrėjai pripažįsta - galbūt dirbtinis protas gali žymiai daugiau, tik mes nežinome, kaip to iš jo paprašyti.
Prancūzų AI gamintojas (ex-Google) Francois Chollet sako: General intelligence is the ability to approach any problem, any skill, and very quickly master it using very little data.
Tai - viena didžiausių dirbtinio proto evoliucijos įdomybių. Šiandien AI užduotis atlieka naudodamas didžiulius duomenų kiekius.
Pavyzdžiui, žaisdamas šachmatais, stumia figūrą, įvertinęs 100 000 galimybių. Žmogus to negali. Tačiau jis gali panašiu lygiu žaisti, įvertindamas tik kelias dešimtis ar šimtą ėjimo galimybių.
Vadinasi, žmogaus mąstymas veikia žymiai efektyviau. Mūsų privalumas - gebėjimas priimti sprendimą, naudojant minimalų duomenų kiekį.
Tad tolesnė dirbtinio proto evoliucija nebūtinai yra susijusi su augančia kompiuterių galia ir duomenų kiekiu (“scaling”). Tikslas - sukurti tokią algoritmo architektūrą, kuri, panašiai kaip Šerlokas Holmsas, teisingus sprendimus galėtų priimti minimalių galimybių sąlygomis.
Internals.
Kuo toliau į mišką, tuo daugiau neaiškumo.
Kas vyksta AI “smegenyse”? Ar tos procedūros gali būti pavadintos mąstymu? Kaip dirbtinis protas “galvoja”? Nors mes esame tiksliųjų mokslų pasaulyje, čia nėra nieko aiškaus ar tikslaus.
Priešingai - labiausiai stebina tai, kad visi AI tyrinėtojai ir kūrėjai patvirtina - mes ne tik nežinome, kaip veikia žmogaus smegenys, mes iki galo nesuprantame ir kaip veikia dirbtinis protas (tiksliau - LLMs - Large Language Models), nors patys jį pagaminome iš fizinių medžiagų.
Ši knygos dalis - labiausiai komplikuota, nes čia lyginamos žmogaus smegenys ir dirbtinis protas. Jei neturi specifinių žinių - dalykus suvokti nelengva. Tačiau aišku viena - mes esame dar labai toli nuo to, kad pažintume žmogaus smegenis.
Pakeliui išlenda Šerloko Holmso metafora. Tai - smegenys, kurios geba daryti teisingas išvadas iš minimalios informacijos kiekio.
Tada išlenda autonominis automobilis, kurį galima išmokyti važinėti po Los Andželą. Tačiau perkeltas į Niujorką, jis patenka į bėdą, nes šiandienos AI lygis reikalauja, kad jis iš naujo būtų apmokytas veikti specifinėje aplinkoje - Niujorke. Ir taip toliau.
Akivaizdu - automobilis ne Šerlokas. Aiškios vizijos, kaip Šerloko Holmso smegenų sugebėjimus perkelti į autonominį automobilį kol kas nėra.
Safety.
Dirbtinio proto saugumo klausimas pradėtas keltas gerokai iki tol, kol pasirodė pirmieji veikiantys AI modeliai. Esminė tema - jei mes sukursime už mus išmanesnę sistemą, kaip užtikrinsime, kad ta sistema nepradėtų veikti prieš mus?
Gali būti tokių bėdų:
Netyčinės “avarijos”, kurių niekas neplanavo,
piktybinis AI naudojimas, kai vieni žmonės nori pakenkti kitiems,
paties AI bandymai pakenkti žmogų (“misalignment”, nuo “alignment”, termino įvardijančio pastangas dirbtinį protą padaryti draugišku žmogui).
AI modelių “daugiškumas” kuriamas paskutinėse stadijose, kai dirbtinį protą moko žmonės, nurodydami, kas yra gerai, o kas - blogai.
Tačiau blogosios savybės niekur neišnyksta - dirbtinis protas tiesiog ima suprasti, kad jų negalima “paleisti” į paviršių. Deja, visi modeliai buvo ne vieną kartą “nulaužti” - visada atsirsdavo gudruolių, sugebėdavusių parašyti tokią komandą, kuri apeidavo visą gerąjį modelių “išsilavinimą”.
Kad ir kaip stengiasi modelių kūrėjai, vartotojai randa būdų aktyvuoti neigiamas modelių savybes, kurių neįmanoma “ištrinti”. Šitas faktas - įspūdingas ir įrodantis, kad mes galime labai klysti suvokdami AI prigimtį.
Mums vis dar atrodo, kad AI - tokia pati technologija, kaip ir visos ligšiolinės. Prognozuojama. Veikianti taip, kaip nurodė jos gamintojai ar vartotojai. Tačiau savyje slepia žymiai daugiau - ir tai, kas mums naudinga, ir tai, kas - pavojinga.
Inputs.
Tai - investicijos, tačiau omeny turimi ne tik pinigai. Pirmiausia, aišku, reikia jų - kiekvienas naujas modelis vis daugiau kainuoja. Bet reikia žymiai daugiau ir kiekviename taške AI evoliucija gali užtrigti.
Inputs reiškia:
Pinigus,
Bazinę technologiją (puslaidininkius) ir duomenų centrus,
Elektros energiją, reikalingą duomenų centrams,
Duomenis, iš kurių AI modeliai mokosi.
Trūksta visko ir tai yra viena iš priežasčių pesimistams laukti sektoriau stagnacijos - jei nebus išrasta nauja ir pigesnė modelių architektūra, visų kitų elementų gali tiesiog fiziškai pritrūkti.
Šiandien duomenų centrai suvartoja 4 procentus JAV elektros energijos. Spėjama, kad 2030 m. šis skaičius sieks 9 proc. (pačiais kukliausiais vertinimais - kiti skaičiuotojai kalba, pvz., apie 20 proc.). Jau dabar naujai statomuose duomenų centruose energija yra svarbiausia dilema, nes pasaulyje egzistuojančios elektros sistemos tiesiog nepaveža duomenų centrų poreikių.
Kitas įdomus aspektas - duomenys, kurie naudojami modeliams mokyti. Šių taip pat trūksta. Modelių kūrėjai naudoja egzistuojančias bazes, perka viską, kas parduodama (štai kodėl verta pagalvoti prieš ką nors skelbiant socialiniuose tinkluose) ir pradeda gaminti savo “duomenis”. Yra reali tikimybė, kad greitai AI modeliai mokysis naudodami informaciją, kurią bus sukūrę kiti AI modeliai.
Ir jei mums nepatinka, kad modelių kūrėjai nori naudoti mūsų į socialinius tinklus sumestą asmeninę informaciją, AI sukurto turinio naudojimas kitiems AI apmokyti kvepia dar didesniais pavojais.
Dažnai sakoma, kad AI modeliai “perima” žmogaus algoritmą - gėrį ir blogį, kuris būdingas mūsų mąstymui ir visuomenėms. Kai vartotojai modelį “nulaužia” ir priverčia rašyti jį visokias bjaurastis (rasizmas, antisemitizmas, ir t.t.), modelis taip šneka ne dėl to, kad yra programa, o dėl to, kad yra išmokytas elgtis kaip žmogus. Primityviai tariant, je mes esame rasistai - tokie bus ir AI modeliai.
Mums vis dar atrodo, jog skaitmeninis pasaulis yra efemeriškas - tereikia kompiuterio ir jau gali jį “statyti”. Deja. Tai yra didžiausia pramonės rūšis šiandien, generuojanti didžiausias amžiaus statybas ir reikalaujantis didžiausių fizinių investicijų.
Markas Zuckerbergas sako, kad esminis augimo “ribotuvas” artimiausią dešimtmetį bus energija. Jau šiandien kai kurios korporacijos gali statyti didesnius duomenų centrus, tačiau nėra galimybių aprūpinti juos elektra.
Energijos sektorius - vienas labiausiai reguliuojamų. Tad naujų elektrinių negali pastatyti taip greitai, kaip duomenų centro. Elonas Muskas šneka tą patį - mielai suręstų atominę elektrinę šalia savo duomenų centro, bet šios statyba per ilgai užtrunka. Neapsimoka.
Kodėl neapsimoka? Todėl, kad nieks negalvoja apie tai, kas bus po dešimt metų. Kova dėl rinkos dalies ir dėl vartotojų vyksta šiandien. Kas ją pralaimės šiandien - nevalgys pyrago ir negers šampano po dešimtmečio.
Žmonės spėja, kad 2027 m. investicijos į AI sektorių sieks trilijoną dolerių. Tiek verta padorios šalies ekonomika (pvz., Turkijos, Lenkijos ar Olandijos). Neišvengiamai kyla keisti klausimai - kai beveik 10 proc. pasaulio žmonių toliau gyvena visiškame skurde, kiti žmonės leidžia pinigus tam, kad “dar geriau” veiktų skaitmeninės paslaugėlės.
Daugiau baimės AI kūrėjams kelia kita - nors investicijos didžiulės, dauguma AI modelių uždirba nedaug. Tad skeptikai nesitiki, jog inveticijoms toliau sparčiai augant, pelnas jas pasivytų.
Štai kodėl technoevangelistai tiek daug šneka apie dirbtinio proto rojų, kuris mūsų visai čia pat laukia - kol kas būtent vizijos ir svajonės, o ne realūs faktai skatina piniguočius investuoti į AI evoliuciją.
Impact.
Numatyti, kad bus - neįmanoma. Tačiau AI kūrėjai daug apie tai kalba. Tai - geriausia jų darbo reklama. Apie ateitį gali šnekėti ką nori, o mums sci-fi stiliaus šnekos yra lengviau suprantamos, nei sudėtingi techniniai ar ekonominiai išvedžiojimai.
Yra mėgstama sakyti, kad žmonės linkę pervertinti technologinių naujovių poveikį artimai ateičiai ir nepakankamai įvertinti jų įtakos tolesnei perspektyvai. Bet ši “patarlė” taip pat yra naudinga AI verslininkams.
Sunku įvertinti, kaip AI veikia ekonomiką. Kyla įtarimų, kad kai kurios įmonės AI argumentą naudoja tam, kad tiesiog galėtų sumažinti išlaidas darbuotojams. Viena tokia korporacija pakalbėjo, kaip atleidžia žmones, tačiau paaiškėjo, kad jie jau senokai atleisti, o kalbos apie AI tik “argumentuoja” įvykusį faktą.
Nors visi džiūgaujame dėl to, kokio kosminio efektyvumo AI įrankiai suteikia mūsų darbui, tačiau, jei pasvarstai ramiai, supranti, kad nenutiko jokio didelio pokyčio - mes tiesiog gavome greitesnes programas.
Panašiai technologijos vystosi jau seniai - pirmas kompiuteris, kurį įsigijau 1995 m. buvo mažiau galingas, nei telefonas šiandien, tačiau tai yra evoliucija, ne revoliucija.
Explosion.
Žmonės kalba apie “intelekto sprogimą”. Dirbtinis intelektas tampa kietesnis už žmogaus protą, tada - už visų žmonių protą, tada - AI pradeda mokyti kitus AI, o tada… patenkame į mokslinės fantastikos zoną.
Tariama, kad AI tamps vis galingesnis ir suteiks vis daugiau galimybių. Mokslui, verslui, karui - bet kam. Labiausia, aišku, verslui, nes juk verslas tobulina AI.
Galima įtarti, kad bent jau didžiosios valstybės labiausiai investuoja ir į karo reikalą. Bet apie tai jos nėra linkę pasakoti, o skaitmeninio pasaulio kolumbai ir kopernikai yra linkę šį bjaurų klausimą apeiti.
Tarkime, kad AGI (artificial general intelligence) arba superprotas (superintelligence) sukuria verslui begalines galimybes. Dirbtinio proto varomos sistemos gali dirbti nesustodamos iki begalybės, gali kurti viską iki begalybės, gali…
O kas gi yra toje “begalybėje”? Ar mums iš viso reikia į tą “begalybę”?
Kas man iš to? Kapitalistinė ekonomika priima augimo imperatyvą (scalling) kaip savaime suprantamą - jeigu viskas auga yra gerai, jei neauga - blogai.
Bet kur mus nuves begalinis augimas? Kažkaip mažokai yra kalbama, pavyzdžiui, apie skurdo mažinimą, lygybės didinimą, laimės kūrimą. Labiau - apie tai, kad “tu liksi be darbo”. O tai reiškia, kad toje “begalybėje” greičiausiai ir šiandienos pasaulio nelygybė bus begalybiškai išaugusi. Nieko gero.
Mums sako - dirbtinis protas vieną dieną išgydyds vėžį ir padarys taip, kad Sacharos klajokliai gautų tiek vandens, kiek širdis geidžia.
O mes galime paklausti - tai kodėl jau šiandien nepradedame to vėžio gydyti? Gal geriau milijardus, leidžiamus duomenų centrų statybai (nes reikia augti greičiau nei konkurentai), galima būti paskirti vėžio nugalėjimui?
Šis galutinio tikslo trūkumas - labai dramatiškas. Akivaizdu, kad vienintelis tikslas, kuris priekin varo šiandienos AI kūrėjus yra… augimas. Kiauras tikslas. Nes to begalinio augimo tikslas - begalybė.
Kupinas įtampos AI diskurso užkaboris, kurio vengia visi - ir AI gamintojai, ir gamybą stebintys komentuotojai. Kur čia neapeisi, kas atsakymo niekas neturi.
Jaučiu, prie šio klausimo dar grįšiu. Pasižymiu, kad nepamirščiau.
Pabaiga
Dramatiškai čia viskas skamba. Bet taip visada būna - Vakarų pasaulis kažkaip lengvai prarija bet kokią euforiją, o tada - ant baltų arklių nulekia kažkur tolyn. Ir jau niekas nebeužduoda elementariausių klausimų, griaunančių gražų namuką.
Šios knygos pabaigoje įdėta keletas senesnių, bet legendinių tekstų (ar jų fragmentų) apie dirbtinio proto evoliuciją.
Viename jų pasakojama, kad AI kūrę mokslininkai visais laikais manė, kad proveržio galima sulaukti tik gilinantis į žmogaus protą ir laukiant, kol tiems mokslininkams žiebs į galvas kokia geniali mintis. Ir visada paaiškėdavo, kad jie klydo - reikia ne įžvalgų, o tik vis galingesnio kompiuterio.
Kitame tekste paprastai žodžiais pasakojama, kaip dirbtinio proto sistemos mokosi. Jos tiesiog viską įsimena. Raides, paskui - žodžius, tada - kablelius, po to - ryšius tarp visų įmanomų žodžių ir sakinių.
Kosmosėlis, ar ne? Mums atrodo, kad ChatGPT mąsto, o jis tiesiog apskaičiuoja visas įmanomas galimybes - kokia raidė, žodis ar sakinys eina vienas po kito, kad būtų gautas logiškas atsakymas į mūsų klausimą.
Čia ir yra ta baisiausia, tamsiausia AI vieta - kai imi suprasti, kad, nors iš pirmo žvilgsnio jis labai panašus į mus, tačiau iš tikro yra radikaliai kitoks, valdomas visiškai kitų principų - paslaptingų ir mums nežinomų.
Tai va. Štai ir nežinia, kas čia bus po metų ar dviejų.
Gal viska bus tik geriau. O gal - mūsų jau ir nebebus.