VR akinių erdvinio vaizdo kūrimas

Kaip iš plokščio ekrano gimsta erdvė

Pirmą kartą užsidėjus virtualios realybės akinius, dažniausiai žmogų apima keistas jausmas – tarsi staiga atsidurtum visai kitoje vietoje. Ne tiesiog žiūri į ekraną, o iš tikrųjų jauti, kad esi kažkur kitur. Bet kaip du maži ekranėliai, nutolę vos kelių centimetrų nuo akių, sugeba sukurti tokią įtikinamą erdvės iliuziją? Atsakymas slypi keliuose gudriai sujungtuose principuose, kuriuos žmonija tobulino daugiau nei šimtmetį.

Pagrindinis triukas čia tas pats, kuriuo remiasi ir mūsų natūralus regėjimas – stereoskopija. Kiekviena mūsų akis mato pasaulį šiek tiek skirtingai, nes jos yra nutikusios maždaug 6-7 centimetrų atstumu viena nuo kitos. Smegenys šiuos du vaizdus sulieja į vieną ir iš skirtumų tarp jų apskaičiuoja, kokie objektai yra arčiau, o kokie toliau. VR akiniai tiesiog imituoja šį procesą – kiekvienai akiai rodo šiek tiek skirtingą vaizdą, sukurtą iš skirtingų kampų. Kai smegenys gauna tokius duomenis, jos automatiškai „įjungia” erdvės suvokimą.

Lęšiai, kurie iškreipia, kad matytume tiesiai

Bet čia iškyla problema – kaip galima žiūrėti į ekraną, esantį vos 3-5 centimetrų atstumu nuo akies? Įprastomis sąlygomis mūsų akys tiesiog negalėtų sufokusuoti tokio artimo objekto. Čia į pagalbą ateina specialūs lęšiai, įmontuoti VR akiniuose. Jie veikia panašiai kaip didintuvai, tik atvirkščiai – ne didina vaizdą, o leidžia akims sufokusuoti artimą ekraną taip, tarsi jis būtų daug toliau.

Šie lęšiai paprastai būna fresnelio tipo – tai reiškia, kad jų paviršius nėra lygus, o sudarytas iš koncentrinių žiedų. Tokia konstrukcija leidžia pasiekti reikiamą optinį efektą naudojant daug plonesnį ir lengvesnį lęšį nei tradicinis. Tačiau fresnelio lęšiai turi ir trūkumų – kartais gali atsirasti šviesos atspindžiai ar vaizdo iškraipymai pakraščiuose. Naujesniuose modeliuose pradedami naudoti sudėtingesni hibridiniai lęšiai arba net pancake optika, kuri leidžia dar labiau sumažinti akinių dydį.

Įdomu tai, kad lęšių nustatymai turi būti labai tikslūs kiekvienam vartotojui. Todėl daugelis VR akinių leidžia reguliuoti atstumą tarp lęšių (IPD – interpupillary distance), kad jis atitiktų atstumą tarp jūsų akių vyzdžių. Net kelių milimetrų skirtumas gali labai paveikti vaizdo aiškumą ir komfortą.

Pikseliai, kuriuos matai per daug gerai

Kai ekranas yra taip arti akių, kiekvienas pikselis tampa matomas. Tai vadinama „screen door” efektu – tarsi žiūrėtum pro tinklelį. Ankstyvieji VR akiniai šia problema kentėjo labai stipriai, bet technologijos sparčiai tobulėja. Šiuolaikiniai VR headsetai naudoja ekranus su labai dideliu pikselių tankiu – dažnai 2000×2000 pikselių ar daugiau kiekvienai akiai.

Čia naudojamos įvairios ekranų technologijos. LCD ekranai yra pigesni ir gali būti šviesūs, bet turi prastesnį kontrastą. OLED ekranai pasižymi puikiu kontrastu ir juodos spalvos perteikimu, nes kiekvienas pikselis švyti pats, tačiau gali turėti problemų su ilgalaikiu vaizdo „įdeginimu”. Naujausi modeliai pradeda naudoti micro-OLED technologiją, kuri leidžia pasiekti dar didesnį pikselių tankį mažesniame plote.

Bet ne tik rezoliucija svarbi – atnaujinimo dažnis (refresh rate) irgi turi milžinišką įtaką. Jei ekranas atsinaujina tik 60 kartų per sekundę, judesiai atrodo trūkčiojantys, o tai gali sukelti pykinimą. Šiuolaikiniai VR akiniai paprastai veikia 90-120 Hz dažniu, o kai kurie net 144 Hz ar daugiau. Kuo didesnis šis skaičius, tuo sklandesni judesiai ir mažesnė tikimybė pajusti diskomfortą.

Sekimas erdvėje – kaip akiniai žino, kur jūs esate

Erdvinis vaizdas būtų visiškai nenaudingas, jei jis nejudėtų kartu su jumis. Kai pasukate galvą dešinėn, virtualus pasaulis turi pasukti kairėn tiksliai tuo pačiu greičiu ir kampu. Bet kaip akiniai žino, kaip jūs judite?

Šiuolaikiniai VR akiniai naudoja kelių tipų jutiklius. Pirmiausia – tai IMU (Inertial Measurement Unit), kuriame yra giroskopas, akselerometras ir magnetometras. Šie jutikliai stebi kiekvieną galvos judesį – pasukimus, pakreipimus, palinksnius. Jie reaguoja labai greitai, bet turi vieną problemą – ilgainiui kaupiasi paklaida, vadinamasis „drift”. Jei remtumėmės tik jais, po kelių minučių virtualus pasaulis pradėtų „plaukti”.

Todėl naudojamas ir optinis sekimas. Senesnėse sistemose (kaip PlayStation VR) tai buvo išorinės kameros, sekančios švieseles ant akinių. Bet šiuolaikiniai akiniai naudoja „inside-out” sekimą – kameros yra pačiuose akiniuose ir stebi aplinką. Akiniai nuolat analizuoja, kaip keičiasi aplinkos vaizdas, ir iš to apskaičiuoja savo poziciją erdvėje. Tai vadinama SLAM (Simultaneous Localization and Mapping) technologija.

Kai kurie premium modeliai naudoja ir papildomą akių sekimą (eye tracking). Tai leidžia ne tik valdyti sąsają žvilgsniu, bet ir optimizuoti vaizdą – aštriai piešti tik tą vietą, į kurią žiūrite, o periferinį regėjimą palikti šiek tiek neryškesnį. Žmogus to nepastebės, bet vaizdo procesorius sutaupys daug resursų.

Laikas yra viskas – latency problema

Vienas didžiausių iššūkių kuriant įtikinamą VR patirtį yra vėlavimas tarp jūsų judesio ir vaizdo pasikeitimo. Jei pasukate galvą, o vaizdas pasikeičia po 50 milisekundžių, jūsų smegenys tai pastebės ir pradės siųsti pavojaus signalus. Rezultatas – diskomfortas, galvos svaigimas, pykinimas.

Todėl visa VR sistema turi būti optimizuota maksimaliam greičiui. Nuo momento, kai jutikliai užfiksuoja judesį, iki momento, kai naujas vaizdas pasirodo ekrane, turėtų praeiti ne daugiau kaip 20 milisekundžių, o idealiu atveju – dar mažiau. Tai reiškia, kad kiekviena grandinės dalis turi veikti žaibiškai: jutikliai turi greitai nuskaityti duomenis, procesorius turi greitai perskaičiuoti vaizdą, ekranas turi greitai jį parodyti.

Čia padeda įvairios technologijos. Pavyzdžiui, „asynchronous timewarp” – kai sistema nespėja sugeneruoti naujo kadro laiku, ji paima paskutinį kadrą ir šiek tiek jį pasuka pagal naujausius galvos pozicijos duomenis. Tai ne idealus sprendimas, bet geriau nei rodyti pasenusį vaizdą. Arba „motion smoothing” – tarpinių kadrų generavimas, kad judesiai atrodytų sklandesni net kai kompiuteris nespėja generuoti pakankamai greitai.

Garsas, kuris užbaigia iliuziją

Nors kalbame apie vaizdą, erdvinė patirtis būtų neišsami be garso. Mūsų ausys labai gerai nustato, iš kur ateina garsas, ir jei girdime ką nors iš kairės, bet matome šaltinį dešinėje, smegenys iš karto supranta, kad kažkas negerai.

VR sistemose naudojamas erdvinis 3D garsas (spatial audio). Tai ne tas pats kas stereo ar net 5.1 surround. Čia garsas yra apskaičiuojamas realiu laiku pagal jūsų galvos poziciją ir virtualių objektų išsidėstymą. Jei virtualus sraigtasparnis skrenda virš jūsų, garso šaltinis juda kartu su juo. Jei pasukate galvą, garsas lieka toje pačioje vietoje erdvėje.

Tam naudojami HRTF (Head-Related Transfer Function) algoritmai, kurie imituoja, kaip mūsų galvos forma, ausų forma ir kūno atspindžiai keičia garsą prieš jam pasiekiant būgnelius. Kiekvienas žmogus turi šiek tiek skirtingą HRTF, bet naudojamos bendros, vidutinės vertės, kurios veikia pakankamai gerai daugumai žmonių.

Kai kurie akiniai turi integruotas ausines, kiti leidžia naudoti savo. Įdomu, kad kai kurie modeliai naudoja „bone conduction” technologiją – garsas perduodamas per kaukolės vibracijas, palikdamas ausis laisvas girdėti ir realų pasaulį. Tai naudinga mišrios realybės (mixed reality) programose.

Kai technologija susiduria su biologija

Viena didžiausių problemų VR technologijoje yra tai, kad ji kartais apgaudinėja mūsų smegenis ne visai suderintai. Matote judėjimą, bet jūsų vestibulinis aparatas (pusiausvyros organas ausyse) sako, kad jūs stovite vietoje. Arba atvirkščiai – virtualiai vaikštote, bet kūnas nejuda. Šis neatitikimas gali sukelti „motion sickness” – pykinimą, panašų į jūros ligą.

Skirtingi žmonės į tai reaguoja skirtingai. Kai kurie gali žaisti VR valandų valandas be jokio diskomforto, kiti pradeda jausti pykimą po kelių minučių. Laimei, yra būdų, kaip tai sušvelninti. Pirma, užtikrinti aukštą kadrų dažnį ir mažą latency – kaip minėjome anksčiau. Antra, vengti tam tikrų judesių tipų žaidimuose – pavyzdžiui, dirbtinis vaikščiojimas su joystick yra daug blogesnis nei teleportacija arba fizinis vaikščiojimas kambaryje.

Kitas biologinis aspektas – akių nuovargis. Kai žiūrime į realius objektus skirtingais atstumais, mūsų akių lęšiai keičia formą (akomodacija), o akys konverguoja (vyzdžiai juda). VR akiniuose šie du dalykai nesinchronizuoja – akys konverguoja į skirtingus atstumus, bet lęšiai visada fokusuoja į tą patį atstumą (ekraną). Tai vadinama vergencijos-akomodacijos konfliktu, ir ilgainiui gali sukelti akių įtampą.

Naujausi tyrimai dirba su varifocal ekranais, kurie fiziškai keičia fokuso atstumą priklausomai nuo to, kur žiūrite (tam reikalingas eye tracking). Arba su light field ekranais, kurie generuoja šviesos spindulius taip, kad akys natūraliai gali fokusuoti skirtingus atstumus. Bet šios technologijos dar labai brangios ir sudėtingos.

Nuo stereoskopų iki metaverse – technologija, kuri vis dar auga

VR technologija nėra nauja idėja. Jau XIX amžiuje buvo populiarūs stereoskopai – įrenginiai, kuriuose žiūrėjai į dvi nuotraukas, padarytas iš šiek tiek skirtingų kampų, ir matydavo erdvinį vaizdą. 1960-aisiais buvo sukurtas pirmasis tikras VR headset’as „Sensorama”, o 1990-aisiais buvo bandymų sukurti komercinius VR akinius žaidimams (kas prisimena Nintendo Virtual Boy?).

Bet tik pastarąjį dešimtmetį technologijos pasiekė tokį lygį, kad VR tapo tikrai naudojama. Spartūs procesoriai, kokybiški ekranai, pažangūs jutikliai – visa tai tapo pakankamai gera ir pakankamai pigi. Oculus Rift 2016-aisiais iš esmės pradėjo modernią VR erą, o dabar turime dešimtis skirtingų modelių – nuo pigių telefonų dėklų iki tūkstančius kainuojančių profesionalių sistemų.

Šiandien VR naudojama ne tik žaidimams. Architektai vaikšto po dar nepastatytais pastatais. Chirurgai treniruojasi atlikti operacijas. Terapeutai gydo fobijas. Inžinieriai projektuoja automobilius. Mokytojai veda virtualias ekskursijas į istorinius įvykius ar į žmogaus kūną. Galimybės atrodo beribės, ir technologija vis dar sparčiai tobulėja.

Artimiausioje ateityje matysime dar lengvesnius, kompaktiškesnius akinius su didesne rezoliucija ir platesniu regėjimo lauku. Galbūt bevielius, su savais procesoriais, nereikalaujančius jokių išorinių įrenginių. Galbūt su tokia gera optika, kad nebebus įmanoma atskirti virtualaus vaizdo nuo realaus. Kai kurie vizionieriai kalba apie akinius, kurie bus ne didesni už paprastas saulės akinius, bet sugebės projektuoti visiškai įtikinamą virtualų pasaulį.

Technologija jau dabar veikia stebėtinai gerai, bet vis dar yra daug erdvės tobulėti. Kiekviena karta VR akinių sprendžia vis daugiau problemų – mažina svorį, didina komfortą, gerina vaizdo kokybę, mažina kainą. Ir kas svarbiausia – vis geriau supranta, kaip dirbti kartu su mūsų smegenimis, o ne prieš jas, kurdama tikrai įtikinamą erdvės iliuziją iš dviejų mažų ekranėlių ir gudrių lęšių.