Вот как пространственные пользовательские интерфейсы работают в visionOS

Как именно работает новая платформа Apple для «пространственных вычислений» visionOS?

На этой неделе на конференции WWDC23 Apple подробно рассказала о множестве интересных фактов о том, как новая гарнитура Vision Pro работает. Apple подробно рассказала, как кнопки выглядят и ведут себя на пространственном компьютере, как они нажимаются без каких-либо физических элементов управления и как приложения работают в 3D.

Вот как работает пространственный интерфейс Apple.

visionOS: Принципы пространственного дизайна

В сеансе разработчика «Принципы пространственного дизайна», Apple изложила основы поведения окон в visionOS, чтобы программисты могли начать ломать голову над созданием приложений для гарнитуры. На изображении выше обратите внимание на тонкую полосу, плавающую под окном. Это панель окна, очень похожая на панель «Домой» на iPhone. Пользователи хватают его, чтобы перемещать окна в пространстве. При перемещении окна меняют ориентацию, чтобы оставаться направленными на пользователя. Точка рядом с панелью окна — это кнопка закрытия. Чтобы изменить размер окна, пользователь фокусирует взгляд на углу окна, чтобы открыть элемент управления.

Windows может свободно увеличиваться и уменьшаться, не ограничиваясь какими-либо физическими ограничениями, но они должны оставаться маленькими, чтобы не блокировать слишком большую часть поля зрения пользователя, заявили в Apple. Приложения могут иметь много окон для плавающих палитр и элементов.

Нажатие и удержание цифровой короны гарнитуры автоматически центрирует окно в поле зрения пользователя, поэтому он ничего не теряет в трехмерном пространстве.

Как представить окна в visionOS

Apple рекомендовала разработчикам располагать окна в альбомной ориентации, так как пользователю легче поворачивать голову влево и вправо, а не вверх и вниз. Apple заявила, что самая важная информация в приложении должна быть размещена в центре. Динамический масштаб гарантирует, что окна останутся того же визуального размера, когда пользователь отодвигает их назад в пространстве.

Хотя разработчики могут создавать окна в любом месте, у Apple есть советы, как они должны работать. Разработчики должны создавать окна вне досягаемости руки, чтобы пользователи взаимодействовали с ними удаленно, используя глаза и руками, а не прямым «прикосновением». Слишком много окон может заставить пользователя чувствовать себя стесненным, даже если они виртуальный. И приложения не должны требовать много движений, так как пользователь может использовать устройство сидя с подключенным Vision Pro.

Полное пространство для виртуальных презентаций

Приложения, которым требуется полное внимание пользователя, например видео или презентации Keynote, могут затемнить комнату вокруг них. Полные пространства заменяют фон пользователя полностью виртуальным трехмерным пространством.

Окна могут проецировать тени или светиться на поверхность под ними, чтобы они выглядели реальными.

Как выглядят и работают приложения в Vision Pro

Сетка приложений в visionOS вдохновлена сотовый узор на Apple Watch. Однако метки под значками приложений облегчат их поиск, по словам ведущих в «Дизайн пространственных пользовательских интерфейсовсессия. Иконки отображаются в 3D с тенями, которые появляются, когда вы смотрите на них. Они могут иметь слои глубины, как в приложении Apple TV.

Матовый, размытый фон, на котором построен пользовательский интерфейс, очень похож на эффект размытия в iOS и macOS. Но с зеркальными бликами по краям он больше похож на настоящую панель из матового стекла. Apple призвала разработчиков не использовать полностью непрозрачные окна, так как они вызывают у пользователя чувство клаустрофобии или скрывают важные части реального окружения.

Текст по умолчанию белый на темно-сером фоне. Шрифты немного тяжелее, чем в iOS — обычный текст абзаца и заголовки, выделенные полужирным шрифтом, в iOS имеют средний и полужирный вес в visionOS соответственно. Трекинг (расстояние между буквами) немного увеличен.

Кнопки и макеты

В то время как в iOS эмпирическое правило Стива Джобса заключалось в том, что кнопки должны иметь высоту не менее 44 пунктов, в visionOS элементы должны иметь высоту не менее 60 пунктов, заявила Apple. Кнопки, которые кажутся маленькими, могут по-прежнему иметь 60 точек нажимаемой области вокруг них — до тех пор, пока они являются единственным нажимаемым элементом в этой области.

Когда пользователь смотрит на интерактивный элемент, например на кнопку, он слегка светится и сияет, поэтому он знает, что на него можно нажать.

Как преобразовать 2D-интерфейс в 3D-интерфейс

При импорте из iOS или iPadOS все окна, панели вкладок и боковые панели приложения создаются заново. Окно приложения становится плавающим куском стекла в visionOS. А панель вкладок внизу iPhone становится вертикальной полосой иконок, которая плавает влево после преобразования для гарнитуры. Если пользователь посмотрит на панель значков в течение нескольких секунд, метки временно появятся. Боковые панели для вторичной навигации занимают всю высоту окна с левой стороны, как в macOS.

Панели инструментов, меню, всплывающие окна и листы больше не связаны двухмерными ограничениями в visionOS — они становятся «украшениями», которые плавают немного ниже и впереди фонового окна. Когда всплывающее окно или лист требуют немедленного внимания пользователя, фоновое окно отодвигается, и лист появляется на том же расстоянии от их глаз, поэтому им не нужно перефокусироваться.

Как взаимодействовать с помощью глаз и рук

Vision Pro поддерживает широкий спектр методов ввода, заявили докладчики в «Дизайн для пространственного ввода" разговаривать. Пользователи могут смотреть глазами и сжимать пальцы, чтобы щелкнуть мышью; или они могут протянуть руку и «прикоснуться» к элементам напрямую. В качестве альтернативы они могут подключить клавиатуру и мышь Bluetooth, чтобы использовать указатель, подобный iPad.

Сведение вместе большого и указательного пальцев эквивалентно постукиванию по экрану или щелчку мышью; пользователи прокручивают, сжимая пальцы и проводя рукой вверх или вниз; сжимание обеими руками позволит им масштабировать и вращать элементы на экране. Вот как пользователи могут управлять окном издалека.

Поднесите окно ближе, и пользователь сможет прикоснуться к нему, как будто перед ним парит гигантский iPad. Пользователь может вытянуть руки для прокрутки или нажатия, хотя Apple предупреждает, что это может вызвать усталость после длительного периода времени. Поскольку пользователь не чувствует, что это происходит кончиками пальцев, немедленная визуальная и звуковая обратная связь — например, светящиеся кнопки и звуки щелчков — помогает придать ощущение физической реальности виртуальным элементы.

Пользователи могут включить диктовку внутри текстового поля, просто взглянув на значок микрофона внутри, поэтому они могут плавно и плавно вводить текст, не делая касаний и не печатая на виртуальном клавиатура.

Дальнейшая информация

Это всего лишь краткое изложение трех сессионных видео. Apple опубликовала еще 14 видеороликов, в которых подробно рассказывается о том, как Safari и игры работают в visionOS, как сделать приложения доступными и как эти пользовательские интерфейсы реализованы для разработчиков.

Вот список сеансов visionOS:

• Встречайте Safari для пространственных вычислений
  
• Создавайте отличные игры для пространственных вычислений
• Создавайте доступные пространственные впечатления
• Создавайте пространственные интерфейсы SharePlay
• Начните создавать приложения для пространственных вычислений
• Разработайте свое первое иммерсивное приложение
• Встречайте Reality Composer Pro
• Встречайте UIKit для пространственных вычислений
• Знакомьтесь со SwiftUI для пространственных вычислений
• Встречайте ARKit для пространственных вычислений
• Запускайте приложения для iPad и iPhone в общем пространстве
• Улучшите свои приложения для iPad и iPhone для общего пространства
• Исследуйте App Store Connect для пространственных вычислений
• Создавайте пространственные впечатления с RealityKit

В течение недели Apple планирует опубликовать еще 23 видеоролика о Vision Pro и visionOS. Хотя комплект для разработки программного обеспечения visionOS станет доступен только в конце этого месяца, а доступ к оборудованию для тестирование, очевидно, крайне ограничено, Apple хочет, чтобы разработчики начали планировать, как их приложения будут работать в новых условиях. устройство.