IOS 16에서 라이브 캡션을 사용하여 모든 것에 대한 자막을 얻는 방법

iOS 16의 새로운 기능인 라이브 캡션은 iPhone의 모든 앱에서 재생되는 모든 오디오의 자막을 생성합니다. Apple의 맞춤형 실리콘의 Neural Engine으로 구동되는 음악 및/또는 비디오의 단어를 실시간 텍스트로 바꾸는 기능은 다양한 상황에서 많은 사용자에게 도움이 될 것입니다.

예를 들어, 난청이 있는 경우 화면에서 즉석 캡션을 볼 수 있는 기능은 게임 체인저입니다. 또는 늦은 밤 침대에 앉아 파트너가 잠들었을 때 헤드폰이 없으면 버스나 사무실과 같이 시끄럽게 만들고 싶지 않은 상황에서 실시간 자막을 켜면 자막.

응용 프로그램은 끝이없고 흥미 진진합니다. iOS 16에서 라이브 캡션을 사용하는 방법은 다음과 같습니다.

iOS 16에서 라이브 캡션을 사용하는 방법

라이브 캡션은 Apple이 이 기능을 발표한 5월에 큰 반향을 일으켰습니다. 다른 새로운 접근성 기능과 함께 iOS에 온다. 이 기능은 스포트라이트를 받기 위해 자신의 하루를 얻었습니다. 글로벌 접근성 인식의 날 Apple이 iOS 16 및 기타 운영 체제에 대한 계획을 발표한 WWDC22를 앞두고 있습니다. 그럼에도 불구하고 그들 모두는 이번 9월에 iOS 16의 다른 모든 것.

베타 테스트를 두려워하지 않는 사람은 라이브 캡션 및 기타 새로운 iOS 16 기능을 지금 바로 사용해 볼 수 있습니다. 먼저 iOS 16 베타를 설치해야 합니다. 개발자 버전 아니면 그 무료 공개 베타), 소프트웨어에 버그가 남아 있으므로 여분의 전화를 사용하는 것이 좋습니다.

iOS 16은 2017년 이후 출시된 모든 iPhone(iPhone 8, X, XS, 11, 12, 13 모델 및 iPhone SE(2세대 및 3세대))과 호환됩니다.

라이브 캡션 활성화

iOS 16 베타에 대한 모든 설정이 완료되면(그리고 사용자 정의 잠금 화면 만들기), 이동 설정 > 손쉬운 사용 > 실시간 자막(베타) 목록의 맨 아래 근처에 있습니다.

할 수 있게 하다 

라이브 캡션 기능을 켭니다. 플로팅 위젯이 나타나 캡션을 입력하기를 기다립니다. 설정의 다른 곳에서 제어 센터에서 또는 측면 버튼을 세 번 클릭하여 이 위젯이 나타나고 사라지도록 구성할 수 있지만 먼저 작동 방식을 살펴보겠습니다(건너뛰려면 여기를 클릭하세요.).

또한 활성화 FaceTime의 라이브 캡션 다음에 FaceTime 통화를 할 때 캡션을 받으려고 여기 있는 동안.

라이브 캡션은 얼마나 잘 작동합니까?

공정한 경고: 최선의 노력에도 불구하고 라이브 캡션 위젯을 스크린샷에 표시할 수 없습니다. 나는 내 전화를 내 컴퓨터에 연결하고 QuickTime에서 화면을 녹화하려고 시도했지만 아무 소용이 없었습니다.

다음은 (오래된) iPad로 찍은 휴대폰 사진입니다. 죄송합니다.

YouTube 동영상의 라이브 캡션

자막이 얼마나 정확한지 직접 확인할 수 있도록 라이브 자막을 테스트했습니다. 봐, 난 달려왔어 YouTube에서 동영상 실험 지난 2년 동안 저는 Wikipedia 기사 전체를 설명했습니다. 라이브 캡션이 내 내레이션을 화면의 원본 텍스트로 얼마나 잘 변환하는지 비교할 수 있기 때문에 이 기능이 유용합니다.

보시다시피 결과는 ...별로 좋지 않습니다. 이것은 조금 놀랍습니다. 음성 받아쓰기는 iMessage에서 잘 작동합니다. Siri는 일반적으로 내 목소리를 꽤 잘 이해합니다. 내가 아는 한, 내 목소리는 일반적인 iPhone을 사용할 때와 마찬가지로 동영상에서도 동일하게 들립니다. 그럼에도 불구하고 라이브 캡션은 내 YouTube 동영상을 매우 제대로 번역하지 않습니다.

팟캐스트

나는 뉴스를 통해 읽는 것을 좋아한다 넷뉴스와이어 팟캐스트를 통해 해설을 듣습니다. 라이브 캡션을 사용하여 팟캐스트를 문자로 변환하여 이를 더욱 통합할 수 있습니까? 거의.

가장 잘 작동하는 경우에도 구현 문제를 해결해야 합니다. 라이브 캡션을 통해 전체 팟캐스트 에피소드를 실행하고 기사처럼 읽는 결과 텍스트를 스크롤할 수는 없습니다. 라이브 캡션은 오디오가 들리는 대로 처리합니다.

즉, 대화를 말하는 것과 같은 속도로 한 번에 몇 줄을 읽을 수 있습니다. 또한 라이브 캡션이 문장의 끝을 들을 때 거꾸로 작동하여 시작 부분을 수정할 수 있습니다. 받아쓰기를 사용할 때와 마찬가지로 문장에 구두점을 추가하거나 소리가 비슷한 단어를 대체합니다. 아이폰. 실제로 세 줄의 텍스트는 실제로 읽을 수 있는 한 줄만 생성합니다.

전체 화면 화살표를 탭하면 한 번에 더 많은 내용을 읽을 수 있지만 챕터를 일시 중지하고 건너뛰는 앱 컨트롤을 가리게 됩니다.

이것은 또한 두 친구 이야기 팟캐스트의 장르. 본문만 읽어서는 누가 무슨 말을 하는지 알 수 없습니다.

음악 가사를 위한 라이브 캡션

나는 노래 가사를 이해하는 데 절대적으로 끔찍합니다. 문자 그대로 수백 번을 들어도 여전히 가사가 기억나지 않고 이해도 되지 않는 앨범이 있습니다. Apple Music은 많은 대중 음악의 라이브 가사를 제공하지만 혼란스럽게도 전체 디스코그래피가 아닙니다. 드리프트리스 포니 클럽, 세계 최고의 인디 록 밴드.

라이브 캡션을 사용하여 가사를 구문 분석할 수 있습니까? 또 다른 혼합 가방. 가사를 선택할 수 있을 때 일반적으로 꽤 정확합니다. 그러나 그들은 예측할 수 없이 왔다가 사라집니다.

에 어쿠스틱 노래 쉽게 홈런이 될 거라고 생각했던 라이브 캡션은 배경에서 가볍게 두드리는 기타 한 곡을 가사 대신 "de de de de de de de"로 번역하기로 결정했습니다. 개발자 베타 3로 업데이트한 후 위의 스크린샷을 찍으러 갔을 때 라이브 캡션이 대신 일부 가사를 선택했습니다(왼쪽 그림).

또한 라이브 캡션 기능을 없애기 위해 악명 높은 두 곡을 시도했습니다. "에 대한 구어체 소개문제가 생겼어" 에서 뮤직맨 캡션이 놀라울 정도로 잘 나옵니다. 즉, 전체 음악이 시작될 때까지입니다(오른쪽 그림). “요소”는 또 다른 즐거운 놀라움이었습니다. 라이브 캡션이 속사 녹음에서 감춰진 요소의 약 절반을 정확하게 식별했습니다.

라이브 캡션을 계속 사용하려면 매번 부동 컨트롤 메뉴를 활성화 및 비활성화하기 위해 설정을 파고들고 싶지 않습니다.

그것을 유지하려면 다음으로 이동하십시오. 설정 > 손쉬운 사용 > 손쉬운 사용 바로가기 (맨 아래에 있음) 활성화 라이브 캡션. 이제 iPhone의 측면 버튼을 세 번 클릭하여 라이브 캡션을 활성화하거나 비활성화할 수 있습니다.

제어 센터에 버튼을 추가할 수도 있습니다. 돌아가기 설정 > 제어 센터 그리고 초록색을 탭하세요 + 옆에 접근성 단축키. 활성화되면 디스플레이의 오른쪽 상단(또는 iPhone 8 또는 iPhone SE의 경우 하단 가장자리)에서 아래로 스와이프하여 제어 센터를 불러옵니다. 탭 접근성 아이콘 그리고 선택 라이브 캡션 켜려면.

라이브 캡션을 어떻게 개선할 수 있습니까?

Apple은 Neural Engine으로 계속해서 도약하고 있습니다. 머신 러닝은 분명히 회사가 탁월한 영역이며 개선 속도는 점점 더 빨라지고 있습니다.

캡션 자체는 시간이 지남에 따라 더 정확해집니다. Apple의 현재 받아쓰기 기능과 Siri용 음성 처리는 명확하게 말하고 휴대폰을 얼굴에 대고 있을 때 가장 잘 작동합니다. 라이브 캡션이 YouTube 동영상과 가족의 FaceTime을 촬영하는 다양한 환경에서 음성 번역을 훈련하는 데는 시간이 걸립니다.

이 기능에 대한 개발자 API를 보고 싶습니다. 문제는 라이브 캡션이 스피커에서 재생되는 모든 오디오를 텍스트로 변환한다는 것입니다. 기능에 개념이 없습니다. 뭐야 재생, 오디오 길이 또는 앞으로 나올 내용. 오디오를 미리 처리할 수 없으며 앱의 인터페이스 내에서 연결할 수 없습니다.

팟캐스트 앱에서 한 번에 전체 에피소드를 처리하는 버튼을 누를 수 있다고 상상해 보십시오. 텍스트는 당신이 들을 때 당신과 함께 스크롤할 것이지만, 당신은 또한 미리 읽거나 뒤로 읽을 수 있습니다.

아마도 iOS 17에서. 🤞