Come utilizzare i sottotitoli in tempo reale per ottenere i sottotitoli per qualsiasi cosa in iOS 16

Live Captions, una nuova funzionalità in arrivo in iOS 16, genererà i sottotitoli di qualsiasi audio riprodotto in qualsiasi app sul tuo iPhone. Alimentato dal Neural Engine nel silicio personalizzato di Apple, la capacità di trasformare parole da musica e/o video in testo in tempo reale sarà un vantaggio per molti utenti, in molte situazioni diverse.

Se hai problemi di udito, ad esempio, la possibilità di vedere i sottotitoli istantanei sullo schermo è un punto di svolta. Oppure, se non hai le cuffie quando sei seduto a letto a tarda notte e il tuo partner dorme, o sei in qualsiasi situazione in cui non vuoi fare rumore, come sull'autobus o in un ufficio: puoi attivare i sottotitoli in tempo reale per ottenere sottotitoli.

Le applicazioni sono infinite ed entusiasmanti. Ecco come utilizzare i sottotitoli in tempo reale in iOS 16.

Come utilizzare i sottotitoli in tempo reale in iOS 16

I sottotitoli in tempo reale hanno avuto un grande successo a maggio, quando Apple ha annunciato la funzione

insieme ad altre nuove funzionalità di accessibilità in arrivo su iOS. Queste caratteristiche hanno avuto il loro giorno sotto i riflettori da segnare Giornata mondiale di sensibilizzazione sull'accessibilità prima del WWDC22, dove Apple ha presentato i suoi piani per iOS 16 e gli altri suoi sistemi operativi. Tutti loro arriveranno comunque questo settembre con tutto il resto in iOS 16.

Chiunque non abbia paura di provare una versione beta può provare i sottotitoli in tempo reale e le altre nuove funzionalità di iOS 16 in questo momento, però. Innanzitutto, devi installare la versione beta di iOS 16 (o il file versione per sviluppatori o il beta pubblica gratuita), preferibilmente su un telefono di riserva poiché il software rimane difettoso.

iOS 16 è compatibile con tutti gli iPhone rilasciati nel 2017 e successivi: i modelli iPhone 8, X, XS, 11, 12, 13 e iPhone SE (sia di seconda che di terza generazione).

Abilita sottotitoli in tempo reale

Una volta che sei pronto per iOS 16 beta (e dopo aver pasticciato con creare una schermata di blocco personalizzata), vai a Impostazioni > Accessibilità > Sottotitoli in tempo reale (Beta) vicino alla fine dell'elenco.

Abilitare Didascalie dal vivo per attivare la funzione. Apparirà un widget mobile, in attesa di qualcosa da sottotitolare. Altrove in Impostazioni, puoi configurare questo widget in modo che appaia e scompaia dal Centro di controllo o facendo triplo clic sul pulsante laterale, ma prima diamo un'occhiata a come funziona (clicca qui per andare avanti).

Inoltre, abilita Sottotitoli dal vivo in FaceTime mentre sei qui per ricevere i sottotitoli la prossima volta che partecipi a una chiamata FaceTime.

Come funzionano i sottotitoli in tempo reale?

Avviso corretto: nonostante tutti i miei migliori sforzi, non riesco a far apparire il widget Didascalie in tempo reale nei miei screenshot. Ho anche provato a collegare il telefono al computer e a registrare lo schermo in QuickTime senza alcun risultato.

Quelle che seguono sono le foto del mio telefono che ho scattato con un (vecchio) iPad. Mi dispiace.

Sottotitoli in tempo reale nei video di YouTube

Ho testato i sottotitoli in tempo reale in modo da poter vedere direttamente quanto sono precisi i sottotitoli. Vedi, ho corso un esperimento video su YouTube negli ultimi due anni in cui racconto gli articoli di Wikipedia nella loro interezza. Questo è utile, perché puoi confrontare quanto bene Live Captions trascrive la mia narrazione al testo originale sullo schermo.

Come puoi vedere, i risultati sono... non eccezionali. Questo è un po' sorprendente. La dettatura vocale funziona benissimo per me in iMessage; Di solito Siri capisce abbastanza bene la mia voce. La mia voce, per quanto ne so, suona la stessa nei video come durante l'uso tipico dell'iPhone. Eppure, Live Captions trascrive i miei video di YouTube piuttosto male.

Podcast

Mi piace leggere le notizie attraverso NetNewsWire e ascolta i commenti attraverso i podcast. Posso consolidare ulteriormente questo aspetto utilizzando i sottotitoli in tempo reale per trasformare i podcast in parole scritte? Tipo.

Anche dove funziona meglio, dobbiamo affrontare una questione di implementazione: non puoi eseguire un intero episodio di podcast tramite Live Captions e scorrere il testo risultante, leggendolo come un articolo. Live Captions elabora l'audio così come lo sente.

Ciò significa che puoi leggere poche righe alla volta, alla stessa velocità con cui viene pronunciato il dialogo. Inoltre, poiché Live Captions sente la fine di una frase, potrebbe funzionare all'indietro e correggere l'inizio di quella frase, aggiungendo la punteggiatura o sostituendo parole simili a suoni, proprio come fa quando si usa la dettatura sul tuo i phone. In effetti, tre righe di testo ne producono solo una che puoi leggere.

Se tocchi le frecce a schermo intero, puoi leggere di più contemporaneamente, ma ciò copre i controlli dell'app per mettere in pausa e saltare i capitoli.

È anche chiaro che questo non funziona bene con il due ragazzi che parlano genere di podcast. Non puoi dire chi sta dicendo cosa leggendo il testo da solo.

Didascalie dal vivo per testi musicali

Sono assolutamente terribile nel capire i testi delle canzoni. Ci sono album che ho ascoltato letteralmente centinaia di volte di cui ancora non riesco a memorizzare i testi, tanto meno a capire. Apple Music offre testi dal vivo per molta musica popolare, ma in modo confuso, non per l'intera discografia di Club di pony senza deriva, la più grande band indie rock del mondo.

Quindi, puoi usare Live Captions per analizzare i testi per te? Un altro miscuglio. Quando può raccogliere i testi, sono generalmente piuttosto accurati. Tuttavia, vanno e vengono in modo imprevedibile.

SU una canzone acustica che pensavo sarebbe stato un facile home run, Live Captions ha deciso di trascrivere la singola chitarra che strimpella leggermente in sottofondo come "de de de de de de de" invece del testo parlato. Dopo l'aggiornamento alla beta per sviluppatori 3, quando sono andato a fare lo screenshot sopra, Live Captions ha invece raccolto un testo parziale (nella foto a sinistra).

Ho anche provato due canzoni notoriamente impegnative per provare a eliminare la funzione Live Captions. La parola introduttiva a “Hai problemi" da L'uomo della musica sottotitolato sorprendentemente bene, cioè fino a quando non è scattata la musica completa (nella foto a destra). “Gli elementi” è stata un'altra piacevole sorpresa, con Live Captions che ha identificato correttamente circa la metà degli elementi sballottati nella registrazione a fuoco rapido.

Se vuoi continuare a utilizzare i sottotitoli in tempo reale, non vuoi scavare nelle Impostazioni per abilitare e disabilitare ogni volta il menu di controllo mobile.

Per tenerlo in mano, vai a Impostazioni > Accessibilità > Scorciatoia per l'accessibilità (in fondo) e abilita Didascalie dal vivo. Ora puoi abilitare o disabilitare i sottotitoli in tempo reale facendo triplo clic sul pulsante laterale dell'iPhone.

Puoi anche aggiungere un pulsante a Control Center. Tornare a Impostazioni > Centro di controllo e tocca il verde + accanto al Scorciatoie di accessibilità. Una volta abilitato, scorri verso il basso dall'angolo in alto a destra del display (o, se hai un iPhone 8 o iPhone SE, dal bordo inferiore) per visualizzare il Centro di controllo. Clicca il Icona di accessibilità e seleziona Didascalie dal vivo accenderlo.

Come potrebbero migliorare i sottotitoli in tempo reale?

Apple continua a fare passi da gigante con il suo Neural Engine. L'apprendimento automatico è chiaramente un'area in cui l'azienda eccelle e il ritmo del miglioramento sta diventando sempre più veloce.

Le didascalie stesse dovrebbero diventare più accurate nel tempo. L'attuale funzione di dettatura di Apple e la sua elaborazione vocale per Siri funzionano meglio quando parli chiaramente e tieni il telefono dritto in faccia. Ci vorrà del tempo prima che i sottotitoli in tempo reale si allenino sulla traduzione delle voci negli ambienti in cui le persone filmano video di YouTube e FaceTime la loro famiglia.

Mi piacerebbe vedere un'API per sviluppatori per questa funzione. Il problema è che Live Captions trascrive qualsiasi audio mentre viene riprodotto dagli altoparlanti; la caratteristica non ha il concetto di cosa c'è in riproduzione, per quanto tempo è l'audio o cosa sta succedendo. Non può elaborare l'audio in anticipo e non può essere collegato all'interno dell'interfaccia di un'app.

Immagina se, nell'app Podcast, potessi premere un pulsante che elabori un intero episodio contemporaneamente. Il testo scorrerà insieme a te mentre ascolti, ma potresti anche leggere avanti o eseguire il backup.

Forse in iOS 17. 🤞