„Pinscreen“ slapta papildoma realybė ir „CGI“

Išplėstinė realybė ir veidų keitimas atrodo karšti kandidatai kitoms mobiliosioms programoms; tiesiog pažiūrėkite į „Facebook“ įsigytą „MSQRD“ ar „Buysery“ įsigijimą. Tačiau vienas AR paleidimas, vadinamas Pinscreen, šiuo metu remiamas 1,8 mln. JAV dolerių iš „Lux Capital“ ir „Colopl VR Fund“, siekia šioje srityje daryti skirtingus veiksmus. Inversinis kalbėjo išskirtinai „Pinscreen“ įkūrėjui Hao Li apie tai, kas gali būti šiai slaptai įmonei.

Galbūt jūs negirdėjote apie „Hao Li“, bet tikriausiai matėte šį USC padėjėjo profesoriaus tyrimą, atliktą keliose filmų filmuose. Dirbdamas vizualinių efektų studijoje „Industrial Light & Magic“, Li padėjo sukurti kai kuriuos įrankius, leidžiančius fiksuoti realaus laiko rezultatus. Idėja buvo, kad aktorius galėtų sėdėti priešais kompiuterį su interneto kamera, elgtis scenoje, o tuomet pasirodymas bus išverstas - realiu laiku - į CG charakterį.

Li atliko didelius tyrimus ir kitose srityse, įskaitant realių žmonių 3D modelių kūrimą realiuoju laiku ir svarbių jų panašumo dalių, ypač veido ir plaukų, užfiksavimą. Pastaruoju metu Li parodė tyrimus, kuriuos jis ir kiti atliko, kad užfiksuotų asmenį, turintį tik vieną fotoaparatą, ir verčiant jį į skaitmeninį ženklą.

Iš pradžių tai nėra skamba taip romanti. Jau yra daug veido stebėjimo sprendimų, skirtų mobiliesiems ir daug sudėtingesnėms sistemoms, pvz., „Faceshift“ (įsigijo „Apple“ 2015 m.). Tačiau daugelis jų priklauso nuo gylio jutiklių, kurių Li technologija nereikalauja. Šis požiūris, pasak jo, yra labai skirtingas.

„Jei turite gylio jutiklį, jums tereikia optimizuoti veido modelio parametrus taip, kad modelis kuo labiau atitiktų 3D įvestį“, - aiškina Li. „Tačiau, jei yra tikras RGB įėjimas, visas pasaulis yra projekuojamas į dvimatį vaizdą be žinomų fotoaparato parametrų, tokių kaip židinio nuotoliai. Taigi iš šio numatyto vaizdo reikia nustatyti tikslią 3D veido modelį ir sugebėti valdyti įvairias apšvietimo sąlygas, taip pat skirtingų objektų pasirodymus. “

Todėl Li tyrimų apie 3D avatarus svarbą. Kartojant žmogaus veidą, daugybė žemėlapių kūrimo programų turi problemų, susijusių su vizualinėmis kliūtimis, pvz., Plaukais ir akiniais. Kad išvengtumėte šios problemos, „Pinscreen“ „sukūrė gilų konvoliucinį neuroninį tinklą, kuris gali išmokti segmentuoti veido regioną visiškai neapribotame vaizde“.

Taigi, kas yra „Pinscreen“, naudodama šią beprotišką pažangią technologiją?

„Būsime naujos rūšies socialinės žiniasklaidos / komunikacijos platforma su įdomiais AR pajėgumais“, - sako Li. „Tai nebus programa, pavyzdžiui,„ XML “objektyvai ar„ MSQRD “, kuri daugeliui žmonių yra įdomi tik kelias minutes.

Taigi, tai nėra daug daugiau, nei dabar. Tačiau, giliau žvelgiant, jo ankstesnis darbas rodo, kad jie tikisi plėtoti galimybę stebėti kažkieno veidą, nepaisant jokių plaukų, akinių ar kitų objektų, kurie trukdo vienos kameros vaizdui. Pridėkite tam tikrą papildomą tikrovę, o dangaus ribą filmai, socialinės žiniasklaidos ir žaidimai.

Tai skamba gana novatoriškai, tačiau svarbu pažymėti, kad Li ir jo komanda ne vieninteliai tiria šioje srityje. „Disney“ neseniai pristatė savo pasirodymą realiuoju laiku, kaip ir kai kurie kiti mokslininkai su įrankiu „Face2Face“. Čia taip pat yra minėtas „Faceshift“ ir „Facebook“ bei „320“, kurie taip pat pradėjo demonstruoti savo gaminius.

Taigi, ką daro „Pinscreen“ technologija kitokia? Li siūlo, kad jo įmonės sprendimas yra „daug patikimesnis ir gali nustatyti tikslesnius 3D modelius, nes mes aiškiai tvarkome okliuzus“.

„Mūsų svarbiausia naujovė yra technologija, leidžianti mums sukurti pilną 3D galvutės modelį, automatiškai įtraukiant plaukus iš bet kokio vaizdo“, - teigia jis. „Šio tipo užduotis tradiciškai reikalauja kvalifikuoto CG modeliavimo ir riggerio, tačiau mes galime tai visiškai automatiškai generuoti. Naujausiuose SIGGRAPH (pirmaujančios kompiuterinės grafikos ir interaktyviosios technikos konferencijos) dokumentuose taip pat reikalingi keli įvesties vaizdai kaip įvestis - mes sutelkiame dėmesį į sprendimą su minimaliu įvesties reikalavimu, vienu 2D vaizdu. “

Žinoma, kol žmonės nematys ir nenaudos jokios „Pinscreen“ programos, žiuri išliks apie savo galimybes. Tačiau skirtumas čia yra tas, kad Li tikrai turi tvirtą mokslinių tyrimų ir inovacijų istoriją, ypač skaitmeninių avatarų kūrime.

„Li“ yra įsitikinęs, kad „Pinscreen“ turi galimybių naudotis socialinės žiniasklaidos erdvėje. „Kadangi mūsų technologija demokratizuos 3D avatarų generavimą, ji turės akivaizdžių programų žaidimų, VR / AR paraiškų, susijusių su intersyvia komunikacija, arba AI agentams“, - sako jis, „manau, kad mes sukursime pačią paprasčiausią programą. socialinė medialinė platforma, kurią vystome.

„Svarbiausia, - priduria jis, - mes norime sukurti kažką, kas leistų žmonėms sukurti tikrai įdomų turinį be brangių VFX dujotiekio poreikių ir gali naudoti tikrai įdomų AR turinį, kad galėtumėte susisiekti tarpusavyje.“

Panašiai atrodo, kad „Pinscreen“ apims technologijas „Li“ ir jo komanda. Bet jis sako, kad tai tik dalis plano. „Technologinė demonstracija iš tikrųjų yra tik tai, ką planuojame naudoti“, - pažymi jis. „Pinscreen bus kažkas daug didesnio, o technologija bus įdomi funkcija pradžioje. Mes taip pat būsime visiškai kitokie nei kitos socialinės žiniasklaidos platformos. “

Šiuo metu „Pinscreen“ vis dar yra paslaptis ir atrodo, kad mes tiesiog turėsime palaukti, kad pamatytume, ką jie turi parduotuvėje.