Lupakan hanya wajah avatar animasi: sebuah tim di Universitas Carnegie Mellon ingin menghadirkan Animoji seluruh tubuh ke dunia. Sebagai direktur Grup Antarmuka Masa Depan di Institut Interaksi Manusia-Komputer Universitas Carnegie Mellon, Chris HarrisonTugasnya adalah membantu menciptakan fitur komputer masa depan.
Dalam demo yang baru diterbitkan, ditampilkan minggu ini, tim Harrison telah menemukan cara untuk membiarkannya reguler iPhone melakukan pelacakan seluruh tubuh hanya menggunakan kamera depan — dengan memperkirakan bagian tubuh Anda yang lain sedang melakukan.
Ini bekerja dengan sangat baik.
Pose-on-the-Go
“Smartphone tidak memiliki cara untuk melihat seluruh tubuh, jadi kita harus pintar, menggabungkan beberapa sumber data sensor untuk membuat perkiraan yang akurat,” kata Harrison. Kultus Mac. “Lebih khusus lagi, kami menggabungkan data dari kamera depan dan belakang, kamera kedalaman yang menghadap pengguna — yang disebut Apple sebagai kamera TrueDepth — unit pengukuran inersia (IMU), dan layar sentuh. Sensor yang berbeda ini memberikan petunjuk yang berbeda tentang bagaimana tubuh berpose. Misalnya, [mereka dapat memberi tahu kami] di mana lengan pengguna berada, atau apakah mereka sedang berjalan.”
Disebut "Pose-on-the-Go," sistem dapat memberi pengembang iOS kemampuan untuk membangun aplikasi menggunakan pose seluruh tubuh. Daripada harus mengenakan setelan gaya pengambilan gambar film, Pose-on-the-Go tidak membutuhkan apa pun selain sensor yang sudah dipasang di iPhone saat ini. Algoritma pintar kemudian menggabungkan informasi ini bersama-sama. Hasilnya dapat secara akurat memperkirakan pose pengguna — bahkan dalam gerakan.
Foto: Universitas Carnegie Mellon
Dari bermain game hingga Animoji seluruh tubuh
“Itu masih perkiraan, dan software bisa diakali, tapi secara keseluruhan cukup bagus,” kata Harrison. “Kami membandingkan sistem kami dengan sistem penangkapan gerak kelas Hollywood, dan di semua sendi — kepala, lengan, kaki — rata-rata kesalahan [hanya] 20,9 cm.”
Dalam satu demo yang mengesankan, tim menunjukkan seseorang berlari ke dinding dan kemudian merunduk. Pelacakan tidak terlalu banyak berdetak.
“Saya pikir ada banyak kegunaan, dari aplikasi latihan yang menghitung repetisi Anda dan memberi Anda umpan balik yang berkualitas, hingga pengalaman bermain game seluruh tubuh di mana Anda harus berlari, melompat, dan menunduk,” lanjut Harrison. “Salah satu aplikasi yang kami buat untuk diri kami sendiri adalah game fantasi di mana kamu bisa menggunakan tanganmu untuk merapal mantra. Demo lucu lainnya adalah Animoji seluruh tubuh, di mana pengguna dapat melambai, menari, dan berjalan-jalan.”
Aplikasi pembunuh untuk iPhone masa depan?
Adakah kemungkinan ini dimasukkan ke iPhone masa depan? Tidak ada kata tentang itu, dan, untuk saat ini, ini adalah bukti konsep. Namun, Future Interfaces Group adalah salah satu laboratorium penelitian yang diawasi oleh perusahaan-perusahaan terkemuka di Lembah Silikon. Mantan siswa Harrison telah bekerja di beberapa raksasa teknologi besar — termasuk Apple.
Tetapi bahkan jika Apple tidak secara resmi mengadopsi teknologi ini, itu tidak berarti Anda tidak akan melihatnya di aplikasi iPhone di masa mendatang. “Kami merencanakan rilis open source untuk sebagian besar kode kami,” kata Harrison. “Mengingat ini semua perangkat lunak — tidak diperlukan perangkat keras atau dongle baru — ini dapat diaktifkan di banyak ponsel pintar modern sebagai pembaruan perangkat lunak.”
Para peneliti mempresentasikan Pose-on-the-Go pada Konferensi ACM minggu ini tentang Faktor Manusia dalam Sistem Komputasi. Anda dapat membaca kertas yang menjelaskan pekerjaan di sini.
Apakah Anda punya ide tentang bagaimana Anda ingin melihat teknologi ini digunakan? Beri tahu kami pendapat Anda di komentar di bawah.
