Надписи на живо, нова функция, идваща в iOS 16, ще генерира субтитри на всяко аудио, което се възпроизвежда във всяко приложение на вашия iPhone. Осъществено от Neural Engine в персонализирания силикон на Apple, способността да се превръщат думи от музика и/или видеоклипове в текст в реално време ще бъде благодат за много потребители в много различни ситуации.
Ако имате увреден слух, например, възможността да виждате незабавни надписи на екрана променя играта. Или, ако нямате слушалки, когато седите в леглото късно вечер и партньорът ви спи - или сте в някоя ситуация, в която не искате да вдигате шум, например в автобуса или в офис – можете да включите Надписи на живо, за да получите субтитри.
Приложенията са безкрайни и вълнуващи. Ето как да използвате надписи на живо в iOS 16.
Как да използвате надписи на живо в iOS 16
Надписите на живо направиха голям фурор през май, когато Apple обяви функцията заедно с други нови функции за достъпност идва в iOS. Тези функции получиха свой собствен ден в светлината на прожекторите, за да отбележат
Глобален ден за информираност за достъпността преди WWDC22, където Apple изложи плановете си за iOS 16 и другите си операционни системи. Всички те въпреки това ще дойдат този септември с всичко останало в iOS 16.Всеки, който не се страхува да опита бета версия, може да изпробва Live Captions и другите нови функции на iOS 16 точно сега. Първо, трябва да инсталирате бета версията на iOS 16 (или версия за разработчици или безплатна публична бета версия), за предпочитане на резервен телефон, тъй като софтуерът остава с грешки.
iOS 16 е съвместим с всеки iPhone, пуснат през 2017 г. и по-късно: моделите iPhone 8, X, XS, 11, 12, 13 и iPhone SE (второ и трето поколение).
Активиране на надписи на живо
Екранна снимка: D. Грифин Джоунс/Култът към Mac
След като сте готови за бета версията на iOS 16 (и след като сте се забърквали с създаване на персонализиран заключен екран), отидете на Настройки > Достъпност > Надписи на живо (бета) близо до края на списъка.
Активирайте Надписи на живо за да включите функцията. Ще се появи плаваща джаджа, която чака нещо за надпис. На друго място в Настройки можете да конфигурирате тази джаджа да се появява и изчезва от Центъра за управление или чрез трикратно щракване върху страничния бутон, но първо нека да разгледаме как работи (щракнете тук, за да пропуснете напред).
Освен това активирайте Надписи на живо във FaceTime докато сте тук, за да получите надписи следващия път, когато провеждате разговор с FaceTime.
Колко добре работят надписите на живо?
Честно предупреждение: Въпреки всичките ми усилия, не мога да накарам приспособлението за надписи на живо да се показва в екранните ми снимки. Дори се опитах да включа телефона си в компютъра и да запиша екрана в QuickTime без резултат.
Това, което следва, са снимки на моя телефон, който направих със (стар) iPad. Съжалявам.
Надписи на живо във видеоклипове в YouTube
Снимка: Д. Грифин Джоунс/Култът към Mac
Тествах надписи на живо, за да можете директно да видите колко точни са надписите. Вижте, бягах видео експеримент в YouTube за последните две години, където разказвам статии в Уикипедия в тяхната цялост. Това е полезно, защото можете да сравните колко добре Live Captions транскрибира моя разказ към оригиналния текст на екрана.
Както можете да видите, резултатите не са... не са добри. Това е малко изненадващо. Гласовата диктовка работи чудесно за мен в iMessage; Siri обикновено разбира гласа ми доста добре. Гласът ми, доколкото знам, звучи по същия начин във видеоклиповете, както при типична употреба на iPhone. И все пак Live Captions транскрибира моите видеоклипове в YouTube доста лошо.
Подкасти
Снимка: Д. Грифин Джоунс/Култът към Mac
Обичам да чета новините NetNewsWire и слушайте коментари чрез подкасти. Мога ли да консолидирам това още повече, като използвам надписи на живо, за да превърна подкастите в писмени думи? Един вид.
Дори когато работи най-добре, трябва да разгледаме въпроса за внедряването: Не можете да стартирате цял епизод на подкаст чрез Live Captions и да превъртате получения текст, като го четете като статия. Live Captions обработва аудиото, докато го чува.
Това означава, че можете да четете няколко реда наведнъж със същата скорост, с която се изговаря диалогът. Плюс това, тъй като Live Captions чува края на изречението, може да работи назад и да коригира началото на това изречение, добавяне на препинателни знаци или замяна на думи с подобен звук, подобно на това, когато използвате диктовка на iPhone. Всъщност три реда текст наистина дават само един, който можете да прочетете.
Ако докоснете стрелките на цял екран, можете да прочетете повече наведнъж, но това покрива контролите на приложението за пауза и пропускане на глави.
Също така е ясно, че това не работи добре с двама пичове си говорят жанр подкасти. Не можете да разберете кой какво казва само като прочетете текста.
Надписи на живо за текстове на музика
Снимка: Д. Грифин Джоунс/Култът към Mac
Аз съм абсолютно ужасен в разбирането на текстовете на песните. Има албуми, които съм чувал буквално стотици пъти, на които все още не мога да запомня текстовете, още по-малко да разбирам. Apple Music предлага текстове на живо за много популярна музика, но объркващо, не за цялата дискография на Дрифт пони клуб, най-великата инди рок група в света.
И така, можете ли да използвате надписи на живо, за да анализирате текстовете вместо вас? Още една смесена чанта. Когато може да улови текстовете, те обикновено са доста точни. Те обаче идват и си отиват непредвидимо.
На акустична песен което смятах, че ще бъде лесен хоумран, Live Captions решиха да транскрибират единичната китара, която леко дрънка във фонов режим, като „de de de de de de“ вместо произнесения текст. След актуализиране до бета 3 за разработчици, когато отидох да направя горната екранна снимка, Live Captions взе частична лирика вместо това (на снимката вляво).
Опитах също две известни предизвикателни песни, за да опитам да изхвърля функцията Live Captions. Изговореното въведение към „Имам проблеми” от Музикалният човек надписи изненадващо добре – т.е. докато не зазвучи пълната музика (на снимката вдясно). “Елементите” беше друга приятна изненада, като надписите на живо идентифицираха правилно около половината от елементите, превъртани в записа с бърза стрелба.
Екранна снимка: D. Грифин Джоунс/Култът към Mac
Ако искате да продължите да използвате надписи на живо, не искате да се ровите в настройките, за да активирате и деактивирате плаващото контролно меню всеки път.
За да го държите ръка, отидете на Настройки > Достъпност > Пряк път за достъпност (най-долу) и активирайте Надписи на живо. Сега можете да активирате или деактивирате надписи на живо, като щракнете три пъти върху страничния бутон на iPhone.
Екранна снимка: D. Грифин Джоунс/Култът към Mac
Можете също така да добавите бутон към Центъра за управление. Върнете се към Настройки > Център за управление и докоснете зеленото + до Преки пътища за достъпност. След като е активирано, плъзнете надолу от горния десен ъгъл на дисплея (или, ако имате iPhone 8 или iPhone SE, долния край), за да изведете Центъра за управление. Докоснете Икона за достъпност и изберете Надписи на живо за да го включите.
Как могат да се подобрят надписите на живо?
Apple продължава да прави скокове и границите на напредъка със своя Neural Engine. Машинното обучение очевидно е област, в която компанията превъзхожда, а темпът на подобрение става все по-бърз.
Самите надписи трябва да станат по-точни с времето. Текущата функция за диктовка на Apple и нейната обработка на глас за Siri работят най-добре, когато говорите ясно и държите телефона си точно до лицето си. Ще отнеме известно време, преди Live Captions да се обучат за превод на гласове в различни среди, в които хората снимат видеоклипове в YouTube и FaceTime на семейството си.
Бих искал да видя API за разработчици за тази функция. Проблемът е, че Live Captions транскрибира всяко аудио, докато се възпроизвежда от високоговорителите; функцията няма концепция за какво е възпроизвеждане, колко дълго е аудиото или какво предстои. Той не може да обработва аудио предварително и не може да бъде свързан в интерфейса на приложението.
Представете си, ако в приложението Podcasts можете да натиснете бутон, който да обработи цял епизод наведнъж. Текстът ще се превърта заедно с вас, докато слушате, но също така можете да четете напред или назад.
Може би в iOS 17. 🤞
