„Zoom“ skambučiai sprogo per dabartinį koronaviruso blokavimą. Bet jei jau išnaudojote galimybes skirtingi kampai ir vaizdo skambučių fone, kodėl gi nepabandžius būti visiškai kitu žmogumi? Žinote, kaip buvęs „Apple“ generalinis direktorius ir įkūrėjas Steve'as Jobsas.
Bent jau tai yra koduotojų sukurta technologijų demonstracija/eksperimentas Ali Aliev ir Karimas Iskakovas. Jie sukūrė „Animoji“ arba „Memoji“ stiliaus įrankį, vadinamą Avatarifikuoti tai leidžia vartotojams vaizdo skambučių metu uždėti sau realaus laiko kaukę.
Kaip veikia Avatarify?
„Avatarify“ yra pagrįstas dirbtiniu nervų tinklu, vadinamu Pirmojo užsakymo judesio modelis, sukūrė Italijos mokslininkai. Mokoma daugiau nei 12 000 vaizdo įrašų, tai leidžia animuoti nejudantį avataro vaizdą be rankinio derinimo. Tai reiškia, kad vartotojams tereikia pridėti nejudantį veido vaizdą. Tada „Avatarify“ pavers jį animacine kauke.
Jis veikia išgaunant pagrindinius taškus iš vaizdo kameros vaizdo įrašo apie jūsų tikrąjį veidą ir tada stebint pagrindinius taškus judant. Toliau ta informacija taiko avataro vaizdą, kad, pavyzdžiui, jo nosis judėtų tuo pačiu metu kaip ir jūsų. Tada animacinis vaizdas perduodamas į „Zoom“, „Skype“ ar bet kurią kitą vaizdo skambučių paslaugą, kurią norite naudoti.
Norėdami pagyvinti asmenį, tiesiog įdėkite jo nuotrauką į tam tikrą aplanką, įjunkite programą „Avatarify“ ir pradėkite vaizdo skambutį.
„Ši idėja kilo spontaniškai, kai atsitiktinai sutikau„ First Order Motion Model “, - pasakojo Ali Aliev „Mac“ kultas. „Mane nustebino jo pasirodymas animacijos kokybės atžvilgiu... nusprendžiau pasijuokti iš savo kolegų [ir] greitai sukūrė prototipą ir įsitraukė į mūsų savaitinį „Zoom“ skambutį su garsaus MMA kovotojo Khabibo veidu Nurmagomedovas. Jie įvertino pokštą. Karimas, kuris taip pat yra mano kolega, turėjo idėją. Jis perkėlė jį į „Mac“ ir parašė vaizdo įrašą su netikru Elonu Musku “.
Stebėtinai įtikinamus rezultatus galima pamatyti žemiau.
Steve'o Jobso išankstinis nustatymas
Kai jie nusprendė paskelbti „Avatarify“, pora nusprendė įtraukti išankstinį avatarų rinkinį. „Mes žavimės Steve'u už jo įsipareigojimą įgyvendinti puikias idėjas, todėl tikrai norėjome, kad jis būtų iš anksto nustatytas avataras“, - sakė Aljevas.
Rezultatai, žinoma, nėra tobuli. Modelis buvo apmokytas naudoti 256 × 256 vaizdo pasėlius, o tai reiškia, kad kokybė, nors ir visiškai priimtina „Zoom“ skambučiams, tiksliai neatitiks HD tikrinimo. Geresnis AI mokymas, ypač esant ekstremaliems veido kampams, padėtų tai pagerinti.
Dar svarbiau, skirtingai nuo garsių „deepfake“ vaizdo įrašų, kuriuos tikriausiai matėte, „Avatarify“ veikia su 2D vaizdais. Kaip sakė Aljevas, jis nieko nežino apie 3D pasaulį. Tai labiausiai pastebima, kai kalbama apie galvos sukimąsi. (Vėlgi pagalvokite apie tai, kaip dėvėdami plokščią kartoninę kaukę, o ne 3D.)
Nuotrauka: Karim Iskakov/Ali Aliev
Tačiau „Avatarify“ turi tam tikrų apribojimų
„Kita problemos pusė yra našumas“, - sakė jis. „Šiuo metu jums reikia GPU varomo kompiuterio, kad galėtumėte paleisti„ Avatarify “su pagrįstu 30 kadrų per sekundę greičiu. Paleisti jį tik CPU turinčiame įrenginyje [nepakanka] maloniems vaizdo konferencijoms. Manome, kad galima pagreitinti modelį, kad jis veiktų realiuoju laiku procesoriaus mašinoje [pvz., „MacBook“. tačiau tai gana daug išteklių reikalaujanti tyrimų problema, reikalaujanti daug pastangų ir laiko. Kita galimybė, kaip pagerinti našumą, yra debesies GPU naudojimas. [Tai reikštų, kad visi sunkūs skaičiavimai atliekami kažkur kitur, bet ne jūsų nešiojamajame kompiuteryje “.
Paskutinė problema - neišvengiama visiems, kurie žiūri į Elono Musko demonstracinę versiją - yra tai, kad balsas skamba. Dienos pabaigoje vis tiek tavo balsas sklinda iš kito žmogaus veido. Iš tikrųjų buvo gana įspūdingų (ir baisių) demonstracinių versijų giliai suklastotas garsas neseniai sugebėjo atkartoti garsių asmenų balsą. Bet čia jų nebuvo lengva panaudoti. Taigi galbūt pradėkite praktikuoti savo įspūdžius!
Avatarifikuoti galima atsisiųsti iš internetinės kodų saugyklos „Github“. Tai nemokama ir atviro kodo programa, nors norint ją pradėti ir paleisti, jums reikės šiek tiek pagrindinio kodavimo supratimo. Po to? Belieka laukti kito „Zoom“ skambučio ...
