Οι κλήσεις ζουμ εξερράγησαν κατά τη διάρκεια του τρέχοντος αποκλεισμού από τον κορωνοϊό. Αλλά αν έχετε ήδη εξαντλήσει τις δυνατότητες διαφορετικές γωνίες και σκηνικά για τις βιντεοκλήσεις σας, γιατί να μην προσπαθήσετε να είστε εντελώς διαφορετικός άνθρωπος; Ξέρετε, όπως ο πρώην διευθύνων σύμβουλος της Apple και συνιδρυτής Steve Jobs.
Τουλάχιστον, αυτό είναι το τεχνολογικό demo/πείραμα που δημιουργήθηκε από κωδικοποιητές Αλί Αλίεφ και Καρίμ Ισκάκοφ. Έχουν αναπτύξει ένα εργαλείο τύπου Animoji ή Memoji που ονομάζεται Avatarify που επιτρέπει στους χρήστες να τοποθετούν μια μάσκα πραγματικού χρόνου στον εαυτό τους κατά τη διάρκεια βιντεοκλήσεων.
Πώς λειτουργεί το Avatarify;
Το Avatarify βασίζεται σε ένα τεχνητό νευρωνικό δίκτυο που ονομάζεται Μοντέλο κίνησης πρώτης τάξης, που αναπτύχθηκε από ερευνητές στην Ιταλία. Εκπαιδευμένο σε περισσότερα από 12.000 βίντεο, καθιστά δυνατή την εμψύχωση μιας εικόνας αβατάρ χωρίς χειροκίνητο συντονισμό. Αυτό σημαίνει ότι οι χρήστες πρέπει να προσθέσουν μόνο μια ακίνητη εικόνα ενός προσώπου. Το Avatarify θα το μετατρέψει σε κινούμενη μάσκα.
Λειτουργεί με την εξαγωγή βασικών σημείων από το βίντεο της κάμερας του πραγματικού σας προσώπου και, στη συνέχεια, την παρακολούθηση βασικών σημείων καθώς κινείστε. Στη συνέχεια, εφαρμόζει αυτές τις πληροφορίες στην εικόνα του avatar για να μετακινήσει, ας πούμε, τη μύτη του ταυτόχρονα με τη δική σας. Στη συνέχεια, η κινούμενη εικόνα μεταδίδεται με ροή στο Zoom, στο Skype ή σε οποιαδήποτε άλλη υπηρεσία κλήσεων βίντεο που θέλετε να χρησιμοποιήσετε.
Για να ζωντανέψετε ένα άτομο, απλώς τοποθετήστε την εικόνα του σε έναν συγκεκριμένο φάκελο, ενεργοποιήστε την εφαρμογή Avatarify και, στη συνέχεια, ξεκινήστε μια βιντεοκλήση.
"Αυτή η ιδέα ήρθε αυθόρμητα όταν έπεσα πάνω στο First Order Motion Model", δήλωσε ο Ali Aliev Cult of Mac. «Με εξέπληξε η απόδοσή του όσον αφορά την ποιότητα του κινούμενου σχεδίου… αποφάσισα να κοροϊδέψω τους συναδέλφους μου, [και] δημιούργησε γρήγορα ένα πρωτότυπο και μπήκε στην εβδομαδιαία κλήση Zoom με το πρόσωπο του διάσημου μαχητή MMA Khabib Νουρμαγκομέντοφ. Εκτίμησαν το αστείο. Ο Καρίμ, ο οποίος είναι επίσης συνάδελφός μου, πήρε μια ιδέα. Το μετέφερε σε Mac και έγραψε το βίντεο με τον ψεύτικο Έλον Μασκ ».
Τα εκπληκτικά πειστικά αποτελέσματα φαίνονται παρακάτω.
Η προεπιλογή του Steve Jobs
Όταν αποφάσισαν να δημοσιεύσουν το Avatarify, το ζευγάρι πήρε την απόφαση να συμπεριλάβει μια προεπιλογή avatar. «Θαυμάζουμε τον Steve για τη δέσμευσή του σε μεγάλες ιδέες, οπότε σίγουρα θέλαμε να τον έχουμε στην προκαθορισμένη εικόνα των avatar», είπε ο Aliev.
Τα αποτελέσματα δεν είναι τέλεια, φυσικά. Το μοντέλο εκπαιδεύτηκε σε καλλιέργειες εικόνας 256 × 256, πράγμα που σημαίνει ότι η ποιότητα - αν και απολύτως αποδεκτή για κλήσεις Zoom - δεν πρόκειται να αντέξει ακριβώς στον έλεγχο HD. Η καλύτερη εκπαίδευση του AI, ιδιαίτερα με ακραίες γωνίες προσώπου, θα βοηθήσει στη βελτίωση αυτού.
Σημαντικότερα, σε αντίθεση με τα διάσημα βίντεο deepfake που πιθανότατα έχετε δει, το Avatarify λειτουργεί με 2D εικόνες. Όπως είπε ο Αλίεφ, δεν γνωρίζει τίποτα για τον τρισδιάστατο κόσμο. Αυτό είναι το πιο αξιοσημείωτο όταν πρόκειται για περιστροφές κεφαλής. (Και πάλι, σκεφτείτε το σαν να φοράτε μια επίπεδη μάσκα από χαρτόνι και όχι μια τρισδιάστατη.)
Φωτογραφία: Karim Iskakov/Ali Aliev
Ωστόσο, το Avatarify έχει κάποιους περιορισμούς
«Η άλλη πλευρά του προβλήματος είναι η απόδοση», είπε. "Αυτή τη στιγμή χρειάζεστε έναν υπολογιστή που υποστηρίζει GPU για να εκτελέσετε το Avatarify με λογικά 30 FPS. Η εκτέλεσή του σε συσκευή μόνο CPU [είναι ανεπαρκής] για ευχάριστες τηλεδιασκέψεις. Πιστεύουμε ότι είναι δυνατόν να επιταχυνθεί το μοντέλο έτσι ώστε να λειτουργεί σε πραγματικό χρόνο σε μια μηχανή CPU [όπως] ένα MacBook. αλλά είναι ένα αρκετά ερευνητικό πρόβλημα έντασης πόρων που απαιτεί πολλή προσπάθεια και χρόνο. Μια άλλη επιλογή για τη βελτίωση της απόδοσης που εξετάζουμε είναι η χρήση GPU cloud. [Αυτό θα σήμαινε] ότι όλοι οι βαρείς υπολογισμοί γίνονται κάπου αλλού, αλλά όχι στο φορητό υπολογιστή σας. "
Το τελευταίο ζήτημα - αναπόφευκτο για όποιον κοιτάζει το demo του Elon Musk - είναι ότι η φωνή ακούγεται. Στο τέλος της ημέρας, εξακολουθεί να είναι η φωνή σας που βγαίνει από το πρόσωπο ενός άλλου ατόμου. Πραγματικά υπήρξαν αρκετά εντυπωσιακά (και τρομακτικά) demos βαθύ ψεύτικο ήχο πρόσφατα, σε θέση να αναπαράγει τη φωνή διάσημων ατόμων. Αλλά αυτά δεν θα μπορούσαν εύκολα να χρησιμοποιηθούν εδώ. Maybeσως λοιπόν ξεκινήστε να εξασκείτε τις εντυπώσεις σας!
Avatarify μπορεί να μεταφορτωθεί από το διαδικτυακό αποθετήριο κώδικα Github. Είναι δωρεάν και ανοιχτού κώδικα, αν και θα χρειαστείτε λίγη βασική κατανόηση κωδικοποίησης για να ξεκινήσει να λειτουργεί. Μετά από αυτό? Είναι απλώς θέμα αναμονής για την επόμενη κλήση σας Zoom…
