Tālummaiņas zvani ir palielinājušies pašreizējās koronavīrusa bloķēšanas laikā. Bet, ja jūs jau esat izsmēlis iespējas dažādi leņķi un videozvanu fona, kāpēc nepamēģināt būt pilnīgi citai personai? Jūs zināt, tāpat kā bijušais Apple izpilddirektors un līdzdibinātājs Stīvs Džobss.
Vismaz tā ir kodētāju izveidotā tehnoloģiju demonstrācija/eksperiments Ali Aljevs un Karims Iskakovs. Viņi ir izstrādājuši Animoji vai Memoji stila rīku ar nosaukumu Avatarificēt kas ļauj lietotājiem videozvanu laikā uzlikt sev reāllaika masku.
Kā Avatarify darbojas?
Avatarify pamatā ir mākslīgais neironu tīkls ar nosaukumu Pirmās kārtas kustības modelis, ko izstrādājuši pētnieki Itālijā. Apmācīts vairāk nekā 12 000 videoklipu, tas ļauj animēt nekustīgu iemiesojumu bez manuālas iestatīšanas. Tas nozīmē, ka lietotājiem ir jāpievieno tikai sejas nekustīgs attēls. Pēc tam Avatarify to pārvērtīs par animētu masku.
Tas darbojas, iegūstot galvenos punktus no jūsu faktiskās sejas tīmekļa kameras video un pēc tam izsekojot galvenos punktus, pārvietojoties. Tālāk šī informācija attiecas uz iemiesojuma attēlu, lai pārvietotu, teiksim, degunu vienlaikus ar savu. Pēc tam animētais attēls tiek straumēts uz Zoom, Skype vai jebkuru citu videozvanu pakalpojumu, kuru vēlaties izmantot.
Lai animētu personu, vienkārši ievietojiet tās attēlu noteiktā mapē, aktivizējiet lietotni Avatarify un pēc tam sāciet videozvanu.
"Šī ideja radās spontāni, kad es uzdūros pirmās kārtas kustības modelim," sacīja Ali Aljevs Mac kults. “Es biju pārsteigts par tās sniegumu animācijas kvalitātes ziņā... Es nolēmu pasmieties par saviem kolēģiem, [un] ātri izveidoja prototipu un ielauzās mūsu iknedēļas Zoom zvanā ar slavenā MMA cīnītāja Khabib seju Nurmagomedovs. Viņi novērtēja joku. Karimam, kurš ir arī mans kolēģis, radās ideja. Viņš to pārnesa uz Mac un uzrakstīja video kopā ar viltus Elonu Musku. ”
Pārsteidzoši pārliecinošos rezultātus var redzēt zemāk.
Stīva Džobsa sākotnējais iestatījums
Kad viņi nolēma publicēt Avatarify, pāris pieņēma lēmumu iekļaut sākotnējo iemiesojumu. "Mēs apbrīnojam Stīvu par viņa apņēmību īstenot lieliskas idejas, tāpēc noteikti vēlējāmies, lai viņš būtu iepriekš iestatītajos avatāros," sacīja Aljevs.
Rezultāti, protams, nav perfekti. Modelis tika apmācīts 256 × 256 attēlu apgriešanai, kas nozīmē, ka kvalitāte, kaut arī tā ir pilnīgi pieņemama tālummaiņas zvaniem, precīzi neatbilst HD pārbaudei. Labāka AI apmācība, īpaši ar galējiem sejas leņķiem, palīdzētu to uzlabot.
Vēl svarīgāk, atšķirībā no slavenajiem dziļi viltus videoklipiem, kurus jūs, iespējams, esat redzējis, Avatarify darbojas ar 2D attēliem. Kā teica Aljevs, tas neko nezina par 3D pasauli. Tas ir visievērojamākais, kad runa ir par galvas rotāciju. (Atkal padomājiet par to, kā valkājot plakanu kartona masku, nevis 3D.)
Foto: Karims Iskakovs/Ali Aljevs
Tomēr Avatarify ir daži ierobežojumi
"Problēmas otra puse ir veiktspēja," viņš teica. “Pašlaik jums ir nepieciešams GPU darbināms dators, lai palaistu Avatarify ar saprātīgiem 30 kadriem sekundē. Palaidiet to tikai CPU ierīcē [nepietiek], lai nodrošinātu patīkamas videokonferences. Mēs domājam, ka ir iespējams paātrināt modeli, lai tas darbotos reāllaikā CPU mašīnā [piemēram, MacBook]. bet tā ir diezgan resursu ietilpīga pētniecības problēma, kas prasa daudz pūļu un laika. Vēl viena iespēja, kā uzlabot veiktspēju, ir mūsu mākoņa GPU izmantošana. [Tas nozīmētu], ka visi smagie aprēķini tiek veikti kaut kur citur, bet ne jūsu klēpjdatorā. ”
Pēdējais jautājums - neizbēgams ikvienam, kurš aplūko Elona Muska demonstrāciju - ir tas, ka balss atskan. Dienas beigās jūsu balss joprojām nāk no citas personas sejas. Patiesībā ir bijuši diezgan iespaidīgi (un biedējoši) demonstrējumi dziļi viltus audio nesen spēja atkārtot slavenu personu balsi. Bet šeit tos nevarēja viegli izmantot. Tāpēc varbūt sāciet praktizēt savus iespaidus!
Avatarificēt var lejupielādēt no tiešsaistes kodu krātuves Github. Tas ir bezmaksas un atvērtā koda, lai gan, lai to sāktu darboties, jums būs nepieciešama neliela izpratne par kodēšanu. Pēc tam? Atliek gaidīt nākamo Zoom zvanu ...
