Ako používať živé titulky na získanie titulkov pre absolútne čokoľvek v systéme iOS 16

Živé prepisy, nová funkcia v systéme iOS 16, vygeneruje titulky akéhokoľvek zvuku prehrávaného v ľubovoľnej aplikácii na vašom iPhone. Schopnosť premeniť slová z hudby a/alebo videí na text v reálnom čase, ktorý využíva Neural Engine vo vlastnom kremíku spoločnosti Apple, bude prínosom pre mnohých používateľov v mnohých rôznych situáciách.

Ak napríklad nepočujete, schopnosť vidieť okamžité titulky na obrazovke zmení hru. Alebo ak nemáte slúchadlá, keď sedíte neskoro večer v posteli a váš partner spí – alebo ste v akomkoľvek situácia, keď nechcete robiť hluk, napríklad v autobuse alebo v kancelárii – môžete zapnúť živé prepisy a získať titulky.

Aplikácie sú nekonečné a vzrušujúce. Tu je návod, ako používať živé prepisy v systéme iOS 16.

Ako používať živé prepisy v systéme iOS 16

Živé prepisy vyvolali veľký rozruch v máji, keď Apple túto funkciu oznámil spolu s ďalšími novými funkciami dostupnosti prichádza na iOS. Tieto funkcie dostali svoj vlastný deň v centre pozornosti Globálny deň povedomia o dostupnosti

pred WWDC22, kde Apple predstavil svoje plány pre iOS 16 a jeho ďalšie operačné systémy. Všetci však prídu v septembri tohto roku všetko ostatné v iOS 16.

Každý, kto sa nebojí vyskúšať beta verziu, si však už teraz môže vyskúšať živé prepisy a ďalšie nové funkcie iOS 16. Najprv musíte nainštalovať iOS 16 beta (buď vývojárska verzia alebo bezplatná verejná beta), najlepšie na náhradnom telefóne, pretože softvér zostáva chybný.

iOS 16 je kompatibilný s každým iPhone vydaným v roku 2017 a novšími: modelmi iPhone 8, X, XS, 11, 12, 13 a iPhone SE (druhá aj tretia generácia).

Povoliť živé prepisy

Akonáhle budete mať všetko nastavené na iOS 16 beta (a po tom, čo ste sa pohrali s vytvorenie vlastnej uzamknutej obrazovky), ísť do Nastavenia > Dostupnosť > Živý prepis (Beta) v dolnej časti zoznamu.

Povoliť Živé prepisy pre zapnutie funkcie. Objaví sa plávajúca miniaplikácia, ktorá čaká na popis. Inde v Nastaveniach môžete túto miniaplikáciu nakonfigurovať tak, aby sa zobrazovala a mizla z ovládacieho centra alebo trojitým kliknutím na bočné tlačidlo, ale najprv sa pozrime, ako to funguje (kliknutím sem preskočíte dopredu).

Tiež povoliť Živé prepisy vo FaceTime keď ste tu, aby ste dostali titulky pri ďalšom hovore FaceTime.

Ako dobre fungujú živé prepisy?

Spravodlivé varovanie: Napriek všetkému, čo som sa snažil, nemôžem dosiahnuť, aby sa miniaplikácia Živé prepisy objavila na mojich snímkach obrazovky. Dokonca som sa pokúsil pripojiť telefón k počítaču a nahrávať obrazovku v QuickTime, ale bez úspechu.

Nasledujú obrázky môjho telefónu, ktoré som urobil pomocou (starého) iPadu. Prepáč.

Živé prepisy vo videách YouTube

Testoval som živé titulky, takže môžete priamo vidieť, aké presné sú titulky. Vidíš, bežal som video experiment na YouTube za posledné dva roky, kde rozprávam články na Wikipédii celé. To sa hodí, pretože si môžete porovnať, ako dobre živé prepisy prepisujú moje rozprávanie do pôvodného textu na obrazovke.

Ako vidíte, výsledky... nie sú skvelé. To je trochu prekvapujúce. Hlasové diktovanie mi funguje skvele v iMessage; Siri zvyčajne rozumie môjmu hlasu celkom dobre. Môj hlas, pokiaľ viem, znie vo videách rovnako ako pri typickom používaní iPhonu. Živé prepisy napriek tomu prepisujú moje videá YouTube dosť zle.

podcasty

Rád si prečítam novinky NetNewsWire a počúvať komentáre prostredníctvom podcastov. Mohol by som to ešte viac upevniť pomocou živých prepisov na premenu podcastov na písané slová? Druh.

Dokonca aj tam, kde to funguje najlepšie, musíme vyriešiť otázku implementácie: Nemôžete spustiť celú epizódu podcastu cez živé titulky a posúvať výsledný text a čítať ako článok. Živé prepisy spracovávajú zvuk tak, ako ho počuje.

To znamená, že môžete čítať niekoľko riadkov naraz rovnakou rýchlosťou, akou sa hovorí dialóg. Navyše, keď živé prepisy počujú koniec vety, môže to fungovať dozadu a opraviť začiatok veta, pridávanie interpunkcie alebo nahradenie zvukovo podobných slov, podobne ako pri používaní diktátu iPhone. V skutočnosti tri riadky textu skutočne dávajú len jeden, ktorý dokážete prečítať.

Ak klepnete na šípky na celej obrazovke, môžete si prečítať viac naraz, ale to zakryje ovládacie prvky aplikácie na pozastavenie a preskočenie kapitol.

Je tiež jasné, že to nehrá dobre s rozprávajú sa dvaja chalani žáner podcastov. Nemôžete povedať, kto čo hovorí, iba prečítaním textu.

Živé titulky pre texty hudby

Som úplne hrozný v chápaní textov piesní. Sú albumy, ktoré som počul doslova stokrát, a stále si neviem zapamätať texty, tým menej im rozumiem. Apple Music ponúka živé texty pre veľa populárnej hudby, ale mätúce, nie pre celú diskografiu Driftless Pony Club, najväčšia indie rocková skupina na svete.

Môžete teda použiť živé prepisy na analýzu textov? Ďalšia zmiešaná taška. Keď dokáže zachytiť texty, sú vo všeobecnosti dosť presné. Tie však prichádzajú a odchádzajú nepredvídateľne.

Zapnuté akustická pieseň o ktorých som si myslel, že to bude ľahký homerun, sa Live Captions rozhodli prepísať jedinú gitaru s ľahkým brnkaním v pozadí ako „de de de de de de de“ namiesto hovoreného textu. Po aktualizácii na vývojársku beta 3, keď som urobil vyššie uvedenú snímku obrazovky, živé prepisy namiesto toho zachytili čiastočný text (na obrázku vľavo).

Skúsil som tiež dve notoricky náročné skladby, aby som sa pokúsil vypnúť funkciu Live Captions. Úvod hovoreného slova do „Mám problémy“od Hudobný muž prekvapivo dobre titulkované – to znamená, kým sa nespustila plná hudba (na obrázku vpravo). “Prvky“ bolo ďalším príjemným prekvapením, pretože živé prepisy správne identifikovali asi polovicu prvkov, ktoré sa odvíjali v rýchlopalnej nahrávke.

Ak chcete aj naďalej používať živé prepisy, nemusíte sa vždy hrabať v nastaveniach, aby ste povolili alebo zakázali plávajúcu ovládaciu ponuku.

Ak chcete, aby to zostalo po ruke, prejdite na Nastavenia > Prístupnosť > Skratka prístupnosti (úplne dole) a aktivujte Živé prepisy. Teraz môžete povoliť alebo zakázať živé titulky trojitým kliknutím na bočné tlačidlo iPhone.

Môžete tiež pridať tlačidlo do ovládacieho centra. Vráťte sa do Nastavenia > Ovládacie centrum a klepnite na zelenú + vedľa Skratky dostupnosti. Po aktivácii prejdite prstom nadol z pravého horného okraja displeja (alebo, ak máte iPhone 8 alebo iPhone SE, spodného okraja), čím zobrazíte Control Center. Klepnite na ikonu Ikona dostupnosti a vyberte Živé prepisy aby ste ho zapli.

Ako by sa mohli živé prepisy zlepšiť?

Apple aj naďalej robí skoky a hranice pokroku so svojím Neural Engine. Strojové učenie je jednoznačne oblasťou, v ktorej spoločnosť vyniká, a tempo zlepšovania sa len zrýchľuje.

Samotné titulky by mali byť časom presnejšie. Súčasná funkcia diktovania spoločnosti Apple a jej spracovanie hlasu pre Siri fungujú najlepšie, keď hovoríte jasne a držíte telefón priamo pri tvári. Živé prepisy potrvá nejaký čas, kým sa natrénujú v prekladaní hlasov v rôznych prostrediach, v ktorých ľudia natáčajú videá YouTube a FaceTime svoju rodinu.

Rád by som videl vývojárske API pre túto funkciu. Problém je v tom, že živé prepisy prepisujú akýkoľvek zvuk počas prehrávania z reproduktorov; funkcia nemá žiadnu koncepciu čo je prehrávanie, ako dlho je zvuk alebo čo sa chystá. Nedokáže vopred spracovať zvuk a nedá sa pripojiť do rozhrania aplikácie.

Predstavte si, že by ste v aplikácii Podcasty mohli stlačiť tlačidlo, ktoré by spracovalo celú epizódu naraz. Počas počúvania sa text posúval spolu s vami, ale tiež ste mohli čítať dopredu alebo zálohovať.

Možno v iOS 17. 🤞