현재 코로나 바이러스 잠금 기간 동안 Zoom 통화가 폭발했습니다. 하지만 이미 가능성을 모두 소진했다면 다른 각도 영상 통화를 위한 배경으로 완전히 다른 사람이 되어 보세요. Apple의 전 CEO이자 공동 창립자인 Steve Jobs처럼 말입니다.
적어도 코더가 만든 기술 데모/실험입니다. 알리 알리예프 그리고 카림 이스카코프. 그들은 Animoji 또는 Memoji 스타일의 도구를 개발했습니다. 아바타화하다 사용자가 화상 통화 중에 자신에게 실시간 마스크를 중첩할 수 있는 기능입니다.
Avatarify는 어떻게 작동합니까?
Avatarify는 인공 신경망을 기반으로 합니다. 퍼스트 오더 모션 모델, 이탈리아 연구원에 의해 개발되었습니다. 12,000개 이상의 비디오에 대해 교육을 받은 이 도구를 사용하면 수동 조정 없이 정지된 아바타 이미지를 애니메이션으로 만들 수 있습니다. 즉, 사용자는 얼굴의 정지 이미지만 추가하면 됩니다. 그러면 Avatarify가 이를 애니메이션 마스크로 바꿉니다.
실제 얼굴의 웹캠 비디오에서 핵심 포인트를 추출한 다음 움직이는 주요 포인트를 추적하여 작동합니다. 그런 다음 해당 정보를 아바타 이미지에 적용하여 사용자의 코와 동시에 코를 움직입니다. 그런 다음 애니메이션 이미지가 Zoom, Skype 또는 사용하려는 기타 화상 통화 서비스로 스트리밍됩니다.
사람을 움직이게 하려면 특정 폴더에 사진을 넣고 Avatarify 앱을 실행한 다음 화상 통화를 시작하면 됩니다.
Ali Aliev는 "그 아이디어는 퍼스트 오더 모션 모델을 우연히 만났을 때 자연스럽게 떠올랐습니다. 컬트 오브 맥. "애니메이션 품질 면에서 성능에 놀랐습니다... 동료들을 놀리기로 결정했습니다. [그리고] 빠르게 프로토타입을 만들고 유명한 MMA 파이터 Khabib의 얼굴과 함께 주간 Zoom 통화에 침입했습니다. 누르마고메도프. 그들은 농담에 감사했습니다. 제 동료이기도 한 카림이 아이디어를 얻었습니다. 그는 그것을 Mac으로 이식하고 가짜 Elon Musk와 함께 비디오를 제작했습니다.”
놀랍도록 설득력 있는 결과는 아래에서 볼 수 있습니다.
스티브 잡스 프리셋
Avatarify를 출판하기로 결정했을 때, 두 사람은 미리 설정된 아바타를 포함하기로 결정했습니다. Aliev는 "훌륭한 아이디어에 대한 스티브의 헌신을 존경하기 때문에 그를 아바타 사전 설정에 포함시키고 싶었습니다."라고 말했습니다.
결과는 물론 완벽하지 않습니다. 이 모델은 256×256 이미지 크롭에 대해 훈련되었으므로 Zoom 통화에는 완벽하게 허용되는 품질이지만 HD 조사에 정확히 부합하지는 않습니다. 특히 극단적인 얼굴 각도로 AI를 더 잘 훈련하면 이를 개선하는 데 도움이 될 것입니다.
더 중요한 것은 여러분이 아마 본 유명한 딥페이크 비디오와 달리 Avatarify는 2D 이미지와 함께 작동한다는 것입니다. Aliev가 말했듯이, 그것은 3D 세계에 대해 아무것도 모릅니다. 헤드 회전과 관련하여 가장 두드러집니다. (다시 말하지만, 이것을 3D 마스크가 아닌 평평한 판지 마스크를 착용하는 사람과 같다고 생각하십시오.)
사진: Karim Iskakov/Ali Aliev
Avatarify에는 몇 가지 제한 사항이 있지만
“문제의 다른 면은 성능입니다.”라고 그는 말했습니다. “현재 합리적인 30FPS로 Avatarify를 실행하려면 GPU 기반 컴퓨터가 필요합니다. 즐거운 화상 회의를 하려면 CPU 전용 장치에서 실행하는 [충분하지 않습니다]. MacBook과 같은 CPU 머신에서 실시간으로 작동하도록 모델의 속도를 높이는 것이 가능하다고 생각합니다. 그러나 많은 노력과 시간이 필요한 자원 집약적인 연구 문제입니다. 우리가 보고 있는 성능 향상을 위한 또 다른 옵션은 클라우드 GPU를 사용하는 것입니다. [즉] 모든 무거운 계산은 다른 곳에서 수행되지만 랩톱에서는 수행되지 않습니다."
Elon Musk 데모를 보는 사람이라면 누구나 피할 수 없는 마지막 문제는 목소리가 들리지 않는다는 것입니다. 하루가 끝나면 여전히 다른 사람의 얼굴에서 나오는 당신의 목소리입니다. 실제로 꽤 인상적이고 무서운 데모가 있었습니다. 딥페이크 오디오 최근에는 유명인의 목소리를 복제할 수 있습니다. 하지만 여기서는 쉽게 사용할 수 없었습니다. 그래서 인상 연습을 시작해 보세요!
아바타화하다 온라인 코드 저장소 Github에서 다운로드할 수 있습니다. 무료이며 오픈 소스이지만 시작하고 실행하려면 약간의 기본적인 코딩 이해가 필요합니다. 이후? 다음 Zoom 통화를 기다리기만 하면 됩니다...
