Zoom -puhelut ovat räjähtäneet nykyisen koronavirustilanteen aikana. Mutta jos olet jo käyttänyt mahdollisuudet eri kulmista ja taustasi videopuheluillesi, miksi et yrittäisi olla eri henkilö? Kuten entinen Applen toimitusjohtaja ja perustaja Steve Jobs.
Ainakin se on koodereiden luoma tekninen demo/kokeilu Ali Aliev ja Karim Iskakov. He ovat kehittäneet Animoji- tai Memoji-tyylisen työkalun nimeltä Avatarify jonka avulla käyttäjät voivat asettaa reaaliaikaisen maskin itselleen videopuheluiden aikana.
Miten Avatarify toimii?
Avatarify perustuu keinotekoiseen hermoverkkoon, jota kutsutaan Ensimmäisen tilauksen liikemalli, jonka ovat kehittäneet tutkijat Italiassa. Se on koulutettu yli 12 000 videolle, joten se voi animoida pysäytyskuvan ilman manuaalista viritystä. Tämä tarkoittaa, että käyttäjien tarvitsee vain lisätä kasvojen pysäytyskuva. Avatarify muuttaa sen animoiduksi naamioksi.
Se toimii poimimalla tärkeimmät kohdat todellisten kasvojesi verkkokameran videosta ja seuraamalla tärkeimpiä kohtia liikkuessasi. Seuraavaksi se soveltaa näitä tietoja avatar -kuvaan liikuttaakseen esimerkiksi nenäänsä samaan aikaan kuin omaasi. Animoitu kuva lähetetään sitten Zoomiin, Skypeen tai mihin tahansa muuhun videopuhelupalveluun, jota haluat käyttää.
Animoi henkilö asettamalla hänen kuvansa tiettyyn kansioon, käynnistä Avatarify -sovellus ja aloita sitten videopuhelu.
"Tämä idea tuli spontaanisti, kun törmäsin First Order Motion -malliin", Ali Aliev kertoi Macin kultti. ”Olin yllättynyt sen suorituskyvystä animaation laadun suhteen... päätin nauraa kollegoilleni, [ja] loi nopeasti prototyypin ja murtautui viikoittaiseen Zoom -puheluumme kuuluisan MMA -taistelijan Khabibin kasvojen kanssa Nurmagomedov. He arvostivat vitsiä. Karim, joka on myös kollegani, sai idean. Hän siirsi sen Macille ja kirjoitti videon väärennetyn Elon Muskin kanssa. ”
Yllättävän vakuuttavat tulokset ovat nähtävissä alla.
Steve Jobsin esiasetus
Kun he päättivät julkaista Avatarifyn, pari teki päätöksen sisällyttää esiasetettu avatar. "Ihailemme Steveä hänen sitoutumisestaan suuriin ideoihin, joten halusimme ehdottomasti saada hänet avatarien esiasetukseen", Aliev sanoi.
Tulokset eivät tietenkään ole täydellisiä. Malli on koulutettu 256 × 256 kuvan rajaukseen, mikä tarkoittaa, että laatu - vaikka se on täysin hyväksyttävä Zoom -puheluille - ei kestä HD -tarkastusta. Parempi tekoälyn koulutus, erityisesti äärimmäisissä kasvokulmissa, auttaisi parantamaan sitä.
Vielä tärkeämpää on, että toisin kuin luultavasti näkemäsi kuuluisat deepfake -videot, Avatarify toimii 2D -kuvien kanssa. Kuten Aliev sanoi, se ei tiedä mitään 3D -maailmasta. Tämä on merkittävintä pään kiertämisen suhteen. (Ajattele tätä taas kuin litteän pahvimaskin käyttäjää 3D -naamion sijaan.)
Kuva: Karim Iskakov/Ali Aliev
Avatarifyilla on kuitenkin joitain rajoituksia
"Ongelman toinen puoli on suorituskyky", hän sanoi. ”Tällä hetkellä tarvitset GPU-käyttöisen tietokoneen Avatarify-ohjelman suorittamiseen kohtuullisella 30 FPS: llä. Sen suorittaminen vain CPU-laitteella [ei riitä] miellyttäviin videoneuvotteluihin. Mielestämme mallia on mahdollista nopeuttaa niin, että se toimii reaaliajassa CPU-koneella [kuten] MacBookilla. mutta se on melko resursseja vaativa tutkimusongelma, joka vaatii paljon työtä ja aikaa. Toinen vaihtoehto suorituskyvyn parantamiseksi on tarkasteltava pilv GPU: iden käyttäminen. [Se tarkoittaisi], että kaikki raskaat laskelmat tehdään jossain muualla, mutta ei kannettavalla tietokoneellasi. ”
Viimeinen ongelma - väistämätön kaikille, jotka katsovat Elon Muskin demoa - on, että ääni kuulostaa pois. Loppujen lopuksi äänesi tulee edelleen toisen ihmisen kasvoilta. Itse asiassa on ollut melko vaikuttavia (ja pelottavia) demoja deepfake -ääni äskettäin pystynyt toistamaan kuuluisien henkilöiden äänen. Mutta niitä ei voitu helposti käyttää täällä. Joten ehkä alkaa harjoittaa vaikutelmiasi!
Avatarify voi ladata online -koodivarastosta Github. Se on ilmainen ja avoimen lähdekoodin, vaikka tarvitset hieman peruskoodaustaitoja saadaksesi sen käyttöön. Sen jälkeen? On vain odotettava seuraavaa Zoom -puhelua…