Ось як просторові інтерфейси користувача працюють у visionOS

Як саме працює нова платформа «просторових обчислень» Apple visionOS?

На WWDC23 цього тижня Apple детально розповіла про те, як це зробити нова гарнітура Vision Pro працює. Apple детально розповіла, як виглядають і поводяться кнопки в просторовому комп’ютері, як вони натискаються без будь-яких фізичних елементів керування та як програми працюють у 3D.

Ось як працює просторовий інтерфейс Apple.

visionOS: Принципи просторового дизайну

У сесії розробника "Принципи просторового проектування”, Apple виклала основи поведінки вікон у visionOS, щоб програмісти могли почати створювати програми для гарнітури. На зображенні вище зверніть увагу на тонку смужку, що плаває під вікном. Це панель вікон, схожа на панель «Домашня сторінка» на iPhone. Користувачі хапають його, щоб переміщувати вікна в просторі. Під час переміщення вікна змінюють орієнтацію, щоб залишатися спрямованими на користувача. Крапка біля віконної панелі — це кнопка закриття. Щоб змінити розмір вікна, користувач фокусує свій погляд на куті вікна, щоб відкрити елемент керування.

Вікна можуть вільно збільшуватися та зменшуватися, не обмежені будь-якими фізичними обмеженнями, але вони повинні залишатися маленькими, щоб не блокувати надто багато поля зору користувача, заявили в Apple. Програми можуть мати багато вікон для плаваючих палітр і елементів.

Якщо натиснути й утримувати кнопку Digital Crown на гарнітурі, вікно автоматично центрується в полі зору користувача, тому він нічого не втрачає в 3D-просторі.

Як представити вікна у visionOS

Apple заохочувала розробників розташовувати вікна альбомно, оскільки користувачеві легше повертати голову вліво і вправо, а не вгору і вниз. Apple заявила, що найважливішу інформацію в програмі слід розміщувати в центрі. Dynamic Scale подбає про те, щоб вікна залишалися незмінними візуально, коли користувач штовхає їх назад у просторі.

У той час як розробники мають свободу відображати вікна будь-де, у Apple є поради щодо того, як вони мають працювати. Розробники повинні створювати вікна поза досяжністю руки, щоб користувачі могли взаємодіяти з ними дистанційно за допомогою очей і руками, а не прямим «дотиком». Забагато вікон може змусити користувача почуватися тісним, навіть якщо це так віртуальний. Крім того, програми не повинні вимагати багато рухів, оскільки користувач може використовувати пристрій сидячи з підключеним Vision Pro.

Повні простори для віртуальних презентацій

Програми, які потребують повної уваги користувача, як-от відео чи презентації Keynote, можуть затемнювати кімнату навколо себе. Повні простори замінюють фон користувача повністю віртуальним 3D-простором.

Вікна можуть проектувати тіні або світитися на поверхню під ними, щоб зробити їх реальними.

Як виглядають програми на Vision Pro

Сітка програм у visionOS натхненна стільниковий візерунок на Apple Watch. Однак мітки під іконками додатків полегшать їх пошук, вважають ведучі в «Дизайн просторових інтерфейсів користувача» сесії. Піктограми відображаються у 3D із тінями, які з’являються, коли ви на них дивитеся. Вони можуть мати шари глибини, як у програмі Apple TV.

Матовий, розмитий фон, на якому побудований інтерфейс користувача, дуже схожий на ефект розмиття в iOS і macOS. Але з ефектними відблисками по краях він більше схожий на справжнє матове скло. Apple закликала розробників не використовувати повністю непрозорі вікна, оскільки вони викликають у користувача відчуття клаустрофобії або приховують важливі частини реального середовища.

Текст за умовчанням має білий колір на темно-сірому фоні. Шрифти трохи товстіші, ніж здаються на iOS — звичайний текст абзацу та напівжирні заголовки на iOS мають середню вагу та жирний на visionOS відповідно. Трекінг (інтервал між літерами) трохи збільшено.

Кнопки та макети

У той час як в iOS основним правилом Стіва Джобса було висота кнопок не менше 44 точок, у visionOS елементи повинні мати принаймні 60 точок, заявили в Apple. Навколо кнопок, які здаються маленькими, може бути 60 точок зони, до якої можна торкатися, якщо вони є єдиним елементом у цій області, який можна торкнутися.

Коли користувач дивиться на інтерактивний елемент, як-от кнопку, він ледь помітно світиться й блищить, щоб він знав, що це те, що можна натиснути.

Як перетворити 2D інтерфейс на 3D

Під час імпорту з iOS або iPadOS усі вікна програми, панелі вкладок і бічні панелі створюються заново. Вікно програми стає плаваючим склом у visionOS. А панель вкладок у нижній частині iPhone стає вертикальною смугою піктограм, яка плаває ліворуч після перетворення для гарнітури. Якщо користувач кілька секунд дивиться на панель значків, тимчасово з’являться мітки. Бічні панелі для додаткової навігації займають всю висоту вікна зліва, як у macOS.

Панелі інструментів, меню, спливаючі вікна та аркуші більше не обмежені двовимірними обмеженнями у visionOS — вони стають «орнаментами», які плавають трохи нижче та перед фоновим вікном. Коли спливаюче зображення або аркуш потребують негайної уваги користувача, фонове вікно відсувається назад, і аркуш з’являється на тій самій відстані від їхніх очей, тому їм не потрібно перефокусуватися.

Як взаємодіяти за допомогою очей і рук

Vision Pro підтримує широкий спектр методів введення, сказали доповідачі в “Дизайн для просторового введення” говорити. Користувачі можуть дивитися очима та стискати пальці разом, щоб натиснути; або вони можуть простягнути руку і «доторкнутися» до елементів безпосередньо. Крім того, вони можуть підключити Bluetooth-клавіатуру та мишу, щоб використовувати вказівник, подібний до iPad.

Зведення великого та вказівного пальців разом еквівалентно торканню екрана або клацанню миші; користувачі прокручують, стискаючи пальці та перетягуючи руку вгору або вниз; щипки обома руками дозволять їм масштабувати та обертати елементи на екрані. Таким чином користувачі можуть керувати вікном здалеку.

Піднесіть вікно ближче, і користувач зможе торкнутися його так, ніби перед ним гігантський iPad, що плаває. Користувач може простягнути руки, щоб прокрутити або натиснути, хоча Apple попереджає, що це може викликати втому після тривалого періоду часу. Оскільки користувач не може відчути це під кінчиками пальців, миттєвий візуальний і звуковий зворотний зв’язок — наприклад, кнопки, що світяться, і звуки клацання — допомагають надати віртуальності відчуття фізичності елементів.

Користувачі можуть увімкнути диктування в текстовому полі, просто подивившись на значок мікрофона всередині, отже вони можуть плавно та плавно вводити текст, не роблячи жестів або друкуючи на віртуальному екрані клавіатура.

Подальша інформація

Це лише підсумок трьох відео сесій. Apple опублікувала ще 14 відеороликів, у яких докладно розповідається про те, як Safari та ігри працюють у visionOS, як зробити додатки доступними та як ці інтерфейси користувача реалізовані для розробників.

Ось список сеансів visionOS:

• Зустрічайте Safari для просторових обчислень
  
• Створюйте чудові ігри для просторових обчислень
• Створюйте доступний просторовий досвід
• Створюйте просторові можливості SharePlay
• Почніть створювати програми для просторових обчислень
• Розробіть свій перший захоплюючий додаток
• Зустрічайте Reality Composer Pro
• Зустрічайте UIKit для просторових обчислень
• Зустрічайте SwiftUI для просторових обчислень
• Зустрічайте ARKit для просторових обчислень
• Запустіть програми для iPad і iPhone у спільному просторі
• Покращуйте свої програми для iPad і iPhone для спільного простору
• Дослідіть App Store Connect для просторових обчислень
• Створюйте просторовий досвід за допомогою RealityKit

Протягом тижня Apple планує опублікувати ще 23 відео про Vision Pro та visionOS. Хоча комплект розробки програмного забезпечення visionOS стане доступним лише пізніше цього місяця, а доступ до апаратного забезпечення для Очевидно, що тестування надзвичайно обмежене, Apple хоче, щоб розробники почали планувати, як їхні додатки працюватимуть для нового пристрій.