Las llamadas de Zoom se han disparado durante el bloqueo actual del coronavirus. Pero si ya ha agotado las posibilidades de diferentes ángulos y fondos para tus videollamadas, ¿por qué no intentar ser una persona completamente diferente? Ya sabes, como el ex director ejecutivo y cofundador de Apple, Steve Jobs.
Al menos, esa es la demostración o el experimento técnico creado por los programadores Ali Aliev y Karim Iskakov. Desarrollaron una herramienta de estilo Animoji o Memoji llamada Avatarificar que permite a los usuarios superponerse una máscara en tiempo real durante las videollamadas.
¿Cómo funciona Avatarify?
Avatarify se basa en una red neuronal artificial llamada Modelo de movimiento de primer orden, desarrollado por investigadores en Italia. Capacitado en más de 12,000 videos, hace posible animar una imagen de avatar fija sin ajuste manual. Eso significa que los usuarios solo necesitan agregar una imagen fija de un rostro. Avatarify lo convertirá en una máscara animada.
Funciona extrayendo puntos clave del video de la cámara web de su rostro real y luego rastreando los puntos clave a medida que se mueve. A continuación, aplica esa información a la imagen del avatar para mover, digamos, su nariz al mismo tiempo que la tuya. Luego, la imagen animada se transmite a Zoom, Skype o cualquier otro servicio de videollamadas que desee utilizar.
Para animar a una persona, simplemente coloque su imagen en una carpeta específica, inicie la aplicación Avatarify y luego inicie una videollamada.
"Esa idea surgió espontáneamente cuando me topé con el modelo de movimiento de primer orden", dijo Ali Aliev. Culto de Mac. “Me sorprendió su desempeño en términos de calidad de animación… decidí burlarme de mis colegas, [y] Creó rápidamente un prototipo e irrumpió en nuestra llamada semanal de Zoom con [la] cara del famoso luchador de MMA Khabib Nurmagomedov. Apreciaron la broma. Karim, que también es mi colega, tuvo una idea. Lo transfirió a Mac y fue el autor del video con el falso Elon Musk ".
Los resultados sorprendentemente convincentes se pueden ver a continuación.
El preajuste de Steve Jobs
Cuando decidieron publicar Avatarify, la pareja tomó la decisión de incluir un preajuste de avatares. "Admiramos a Steve por su compromiso con las grandes ideas, así que definitivamente queríamos tenerlo en el preajuste de avatares", dijo Aliev.
Los resultados no son perfectos, por supuesto. El modelo se entrenó en recortes de imágenes de 256 × 256, lo que significa que la calidad, si bien es perfectamente aceptable para las llamadas de Zoom, no va a resistir exactamente el escrutinio de HD. Un mejor entrenamiento de la IA, particularmente con ángulos faciales extremos, ayudaría a mejorar eso.
Más significativamente, a diferencia de los famosos videos de deepfake que probablemente hayas visto, Avatarify funciona con imágenes en 2D. Como dijo Aliev, no sabe nada sobre el mundo 3D. Eso es más notable cuando se trata de rotaciones de cabeza. (Nuevamente, piense en esto como si usara una máscara de cartón plana, en lugar de una 3D).
Foto: Karim Iskakov / Ali Aliev
Avatarify tiene algunas limitaciones, aunque
"El otro lado del problema es el rendimiento", dijo. “En este momento, necesita una computadora con GPU para ejecutar Avatarify a una velocidad razonable de 30 FPS. Ejecutarlo en un dispositivo solo con CPU [no es suficiente] para disfrutar de una videoconferencia placentera. Creemos que es posible acelerar el modelo para que funcione en tiempo real en una máquina con CPU [como una] MacBook. pero es un problema de investigación que requiere muchos recursos y requiere mucho esfuerzo y tiempo. Otra opción para mejorar el rendimiento que estamos considerando es usar GPU en la nube. [Eso significaría] que todos los cálculos pesados se realizan en otro lugar, pero no en su computadora portátil ".
El único problema final, ineludible para cualquiera que vea la demostración de Elon Musk, es que la voz suena apagada. Al final del día, tu voz sigue saliendo del rostro de otra persona. De hecho, ha habido algunas demostraciones bastante impresionantes (y aterradoras) de audio deepfake recientemente, capaz de replicar la voz de personajes famosos. Pero esos no podrían usarse fácilmente aquí. ¡Así que quizás empiece a practicar sus impresiones!
Avatarificar se puede descargar desde el repositorio de códigos en línea Github. Es gratuito y de código abierto, aunque necesitará un poco de conocimientos básicos de codificación para ponerlo en funcionamiento. ¿Después? Es solo cuestión de esperar su próxima llamada de Zoom ...