Voici comment fonctionnent les interfaces utilisateur spatiales dans visionOS

Comment fonctionne exactement la nouvelle plate-forme de "informatique spatiale" visionOS d'Apple ?

Lors de la WWDC23 cette semaine, Apple a détaillé un tas de détails intéressants sur la façon dont le nouveau casque Vision Pro travaux. Apple a détaillé l'apparence et le comportement des boutons dans l'ordinateur spatial, comment ils sont pressés sans aucun contrôle physique et comment les applications fonctionnent en 3D.

Voici comment fonctionne l'interface spatiale d'Apple.

visionOS: principes de conception spatiale

Dans la session développeur "Principes de conception spatiale", Apple a exposé les bases du comportement des fenêtres dans visionOS afin que les codeurs puissent commencer à se concentrer sur la création d'applications pour le casque. Dans l'image ci-dessus, remarquez la fine barre flottant sous la fenêtre. Il s'agit de la barre de fenêtre, un peu comme la barre d'accueil de l'iPhone. Les utilisateurs l'attrapent pour déplacer les fenêtres dans l'espace. Lorsqu'elles sont déplacées, les fenêtres se réorientent pour rester pointées vers l'utilisateur. Un point à côté de la barre de fenêtre est le bouton de fermeture. Pour redimensionner la fenêtre, l'utilisateur fixe son regard sur le coin d'une fenêtre pour faire apparaître un champ.

Windows peut grandir et rétrécir librement, sans aucune limitation physique, mais il doit rester petit afin de ne pas trop bloquer le champ de vision de l'utilisateur, a déclaré Apple. Les applications peuvent avoir de nombreuses fenêtres pour les palettes et les éléments flottants.

Appuyer et maintenir la couronne numérique du casque centre automatiquement une fenêtre sur le champ de vision de l'utilisateur, afin qu'il ne perde rien dans l'espace 3D.

Comment présenter des fenêtres dans visionOS

Apple a encouragé les développeurs à disposer les fenêtres en paysage, car il est plus facile pour l'utilisateur de tourner la tête à gauche et à droite, plutôt que de haut en bas. Apple a déclaré que les informations les plus importantes d'une application devaient être placées au centre. Dynamic Scale s'assurera que les fenêtres conservent la même taille visuelle lorsque l'utilisateur les repousse dans l'espace.

Bien que les développeurs aient la liberté de faire apparaître des fenêtres n'importe où, Apple propose des conseils sur leur fonctionnement. Les développeurs doivent générer des fenêtres hors de portée de main, afin que les utilisateurs interagissent avec eux à distance en utilisant leurs yeux et mains plutôt qu'avec un "toucher" direct. Trop de fenêtres peuvent rendre l'utilisateur à l'étroit, même si elles sont virtuel. Et les applications ne devraient pas nécessiter beaucoup de mouvement, car l'utilisateur peut utiliser l'appareil assis avec le Vision Pro branché.

Des espaces complets pour des présentations virtuelles

Les applications qui nécessitent toute l'attention de l'utilisateur, comme les vidéos ou les présentations Keynote, peuvent assombrir la pièce qui les entoure. Les espaces complets remplacent l'arrière-plan de l'utilisateur par un espace 3D entièrement virtuel.

Les fenêtres peuvent projeter des ombres ou briller sur la surface en dessous pour les faire apparaître réelles.

A quoi ressemblent les applications sur Vision Pro

La grille d'applications de visionOS s'inspire de la motif en nid d'abeille sur l'Apple Watch. Cependant, les étiquettes sous les icônes d'application les rendront plus faciles à trouver, selon les présentateurs dans le "Conception d'interfaces utilisateur spatiales" session. Les icônes sont affichées en 3D, avec des ombres qui apparaissent lorsque vous les regardez. Ils peuvent avoir des couches de profondeur, comme dans l'application Apple TV.

L'arrière-plan givré et flou sur lequel l'interface utilisateur est construite ressemble beaucoup à l'effet de flou sur iOS et macOS. Mais avec les reflets spéculaires sur les bords, cela ressemble plus à une véritable vitre en verre dépoli. Apple a encouragé les développeurs à ne pas utiliser de fenêtres complètement opaques, car elles rendent l'utilisateur claustrophobe ou cachent des parties importantes de l'environnement réel.

Le texte est blanc par défaut sur un fond gris foncé. Les polices sont légèrement plus lourdes qu'elles ne le paraissent sur iOS - Le texte des paragraphes normaux et les titres en semi-gras sur iOS sont respectivement pondérés Moyen et Gras sur visionOS. Le suivi (l'espace entre les lettres) a été légèrement augmenté.

Boutons et mises en page

Alors que sur iOS, la règle empirique de Steve Jobs était que les boutons mesurent au moins 44 points, dans visionOS, les éléments doivent mesurer au moins 60 points, a déclaré Apple. Les boutons qui semblent petits peuvent toujours avoir 60 points de zone tactile autour d'eux - tant qu'ils sont le seul élément tactile dans la zone.

Lorsque l'utilisateur regarde un élément interactif, comme un bouton, il brillera et brillera subtilement, afin qu'il sache que c'est quelque chose sur lequel il peut appuyer.

Comment convertir une interface 2D en une interface 3D

Lors de l'importation depuis iOS ou iPadOS, toutes les fenêtres, barres d'onglets et barres latérales de l'application sont recréées. Une fenêtre d'application devient un morceau de verre flottant dans visionOS. Et la barre d'onglets en bas de l'iPhone devient une bande verticale d'icônes qui flotte vers la gauche après la conversion pour le casque. Si l'utilisateur regarde la barre d'icônes pendant quelques secondes, des étiquettes apparaîtront temporairement. Les barres latérales de navigation secondaire occupent toute la hauteur de la fenêtre sur le côté gauche, comme sur macOS.

Les barres d'outils, les menus, les popovers et les feuilles ne sont plus liés par des contraintes bidimensionnelles dans visionOS - ils deviennent des «ornements», qui flottent légèrement en dessous et devant la fenêtre d'arrière-plan. Lorsqu'un popover ou une feuille nécessite l'attention immédiate de l'utilisateur, la fenêtre d'arrière-plan est repoussée et la feuille apparaît à la même distance de ses yeux, de sorte qu'il n'a pas à se recentrer.

Comment interagir en utilisant vos yeux et vos mains

Vision Pro prend en charge une grande variété de méthodes de saisie, ont déclaré les présentateurs dans le "Conception pour l'entrée spatiale" parler. Les utilisateurs peuvent regarder avec leurs yeux et presser leurs doigts ensemble pour cliquer; ou ils peuvent tendre la main et « toucher » directement les éléments. Alternativement, ils peuvent connecter un clavier et une souris Bluetooth pour utiliser un pointeur de type iPad.

Le fait de pincer le pouce et l'index équivaut à appuyer sur l'écran ou à cliquer avec la souris; les utilisateurs font défiler en pinçant leurs doigts et en faisant glisser leur main vers le haut ou vers le bas; pincer avec les deux mains leur permettra de zoomer et de faire pivoter des éléments sur l'écran. C'est ainsi que les utilisateurs peuvent contrôler une fenêtre à distance.

Rapprochez une fenêtre et l'utilisateur peut la toucher comme s'il s'agissait d'un iPad géant flottant devant lui. L'utilisateur peut tendre la main pour faire défiler ou appuyer, bien qu'Apple avertisse que cela peut causer de la fatigue après une longue période de temps. Parce que l'utilisateur ne peut pas sentir cela se produire sous ses doigts, un retour visuel et audio immédiat - tels que des boutons lumineux et des bruits de clic - aide à donner une impression de physique au virtuel éléments.

Les utilisateurs peuvent activer la dictée dans un champ de texte simplement en regardant l'icône du microphone à l'intérieur, donc ils peuvent saisir du texte de manière fluide et transparente sans faire un geste de toucher ou taper sur un virtuel clavier.

Plus d'informations

Ceci n'est qu'un résumé de trois vidéos de session. Apple a publié 14 autres vidéos qui expliquent en détail comment Safari et les jeux fonctionnent dans visionOS, comment rendre les applications accessibles et comment ces interfaces utilisateur sont implémentées pour les développeurs.

Voici la liste des sessions visionOS :

• Découvrez Safari pour l'informatique spatiale
  
• Créez de grands jeux pour l'informatique spatiale
• Créer des expériences spatiales accessibles
• Concevoir des expériences SharePlay spatiales
• Commencez à créer des applications pour l'informatique spatiale
• Développez votre première application immersive
• Découvrez Reality Composer Pro
• Découvrez UIKit pour l'informatique spatiale
• Découvrez SwiftUI pour l'informatique spatiale
• Découvrez ARKit pour l'informatique spatiale
• Exécutez vos applications iPad et iPhone dans l'espace partagé
• Améliorez vos applications iPad et iPhone pour l'espace partagé
• Explorez App Store Connect pour l'informatique spatiale
• Créez des expériences spatiales avec RealityKit

Tout au long de la semaine, Apple prévoit de publier 23 vidéos supplémentaires sur Vision Pro et visionOS. Bien que le kit de développement logiciel visionOS ne soit disponible que plus tard ce mois-ci, et que l'accès au matériel pour les tests sont évidemment extrêmement limités, Apple souhaite que les développeurs commencent à planifier le fonctionnement de leurs applications pour le nouveau appareil.