Le chiamate Zoom sono esplose durante l'attuale blocco del coronavirus. Ma se hai già esaurito le possibilità di angoli diversi e sfondi per le tue videochiamate, perché non provare a essere una persona completamente diversa? Sai, come l'ex CEO di Apple e co-fondatore Steve Jobs.
Almeno, questo è l'esperimento/demo tecnologico creato dai programmatori Ali Aliev e Karim Iskakov. Hanno sviluppato uno strumento in stile Animoji o Memoji chiamato Avatarificare che consente agli utenti di sovrapporre a se stessi una maschera in tempo reale durante le videochiamate.
Come funziona Avatarify?
Avatarify si basa su una rete neurale artificiale chiamata Modello di movimento del primo ordine, sviluppato da ricercatori in Italia. Formato su oltre 12.000 video, consente di animare un'immagine avatar fissa senza sintonizzazione manuale. Ciò significa che gli utenti devono solo aggiungere un'immagine fissa di un volto. Avatarify lo trasformerà quindi in una maschera animata.
Funziona estraendo i punti chiave dal video della webcam del tuo viso reale e quindi monitorando i punti chiave mentre ti muovi. Successivamente applica tali informazioni all'immagine dell'avatar per muovere, ad esempio, il suo naso contemporaneamente al tuo. L'immagine animata viene quindi trasmessa in streaming su Zoom, Skype o qualsiasi altro servizio di videochiamata che desideri utilizzare.
Per animare una persona, posiziona la sua immagine in una cartella specifica, avvia l'app Avatarify e quindi avvia una videochiamata.
"L'idea è venuta spontaneamente quando mi sono imbattuto nel Modello di Movimento del Primo Ordine", ha detto Ali Aliev Culto di Mac. “Sono rimasto sorpreso dalle sue prestazioni in termini di qualità dell'animazione … ho deciso di prendere in giro i miei colleghi, [e] ha creato rapidamente un prototipo e ha fatto irruzione nella nostra chiamata settimanale Zoom con [il] volto del famoso combattente MMA Khabib Nurmagomedov. Hanno apprezzato lo scherzo. Karim, che è anche mio collega, ha avuto un'idea. Lo ha portato su Mac e ha creato il video con il falso Elon Musk.
I risultati sorprendentemente convincenti possono essere visti di seguito.
Il preset di Steve Jobs
Quando hanno deciso di pubblicare Avatarify, la coppia ha deciso di includere un set di avatar. "Ammiriamo Steve per il suo impegno verso grandi idee, quindi volevamo assolutamente averlo nel preset degli avatar", ha detto Aliev.
I risultati non sono perfetti, ovviamente. Il modello è stato addestrato su ritagli di immagini 256 × 256, il che significa che la qualità, sebbene perfettamente accettabile per le chiamate Zoom, non resisterà esattamente al controllo HD. Un migliore allenamento dell'intelligenza artificiale, in particolare con angoli facciali estremi, aiuterebbe a migliorarlo.
Più significativamente, a differenza dei famosi video deepfake che probabilmente hai visto, Avatarify funziona con immagini 2D. Come ha detto Aliev, non sa nulla del mondo 3D. Questo è più notevole quando si tratta di rotazioni della testa. (Di nuovo, pensa a questo come se indossi una maschera di cartone piatta, piuttosto che una 3D.)
Foto: Karim Iskakov/Ali Aliev
Avatarify ha alcune limitazioni, però
"L'altro lato del problema sono le prestazioni", ha detto. “In questo momento hai bisogno di un computer alimentato da GPU per eseguire Avatarify con un ragionevole 30 FPS. L'esecuzione su un dispositivo solo CPU [è insufficiente] per piacevoli videoconferenze. Riteniamo che sia possibile velocizzare il modello in modo che funzioni in tempo reale su una macchina CPU [come un] MacBook. ma è un problema di ricerca ad alta intensità di risorse che richiede molti sforzi e tempo. Un'altra opzione per migliorare le prestazioni che stiamo esaminando è l'utilizzo di GPU cloud. [Ciò significherebbe] tutti i calcoli pesanti vengono eseguiti da qualche altra parte, ma non sul tuo laptop.
L'ultimo problema - inevitabile per chiunque guardi la demo di Elon Musk - è che la voce suona fuori. Alla fine della giornata, è ancora la tua voce che esce dal viso di un'altra persona. In realtà ci sono state alcune demo piuttosto impressionanti (e spaventose) di audio deepfake recentemente, in grado di replicare la voce di personaggi famosi. Ma quelli non potevano essere usati facilmente qui. Quindi magari inizia a mettere in pratica le tue impressioni!
Avatarificare può essere scaricato dal repository di codice online Github. È gratuito e open-source, anche se avrai bisogno di un po' di conoscenza di base della programmazione per farlo funzionare. Dopo di che? È solo questione di aspettare la tua prossima chiamata Zoom...
