구글은 이번 달 'Made on YouTube' 행사에서 유튜브의 자동 더빙 기술이 새로운 업그레이드를 가져왔다고 발표했다. AI 립싱크(lip-sync) 기능을 도입한 것이다. 이는 기계 번역된 영상 콘텐츠에서 오랜 문제인 '소리와 영상의 싱크가 맞지 않는' 문제를 해결하는 것을 목표로 한다. 이 기능은 먼저 영어, 독일어, 프랑스어, 스페인어를 포함한 20개 언어로 출시될 예정이며 앞으로 몇 달 내에 더 많은 언어가 추가될 예정입니다.
유튜브의 자동 더빙과 자동 번역이 영상 타이틀과 오디오 트랙을 자동으로 재생해 논란이 된 것으로 알려졌다. 많은 사용자는 이러한 자동 번역 및 더빙을 끌 수 있는 통합 옵션을 원합니다. 다국어 사용자와 Bilibili 제작자는 AI 생성 번역의 품질이 인간 번역에 비해 고르지 않다고 보고했습니다. 현재 유튜브에서는 더빙을 전역적으로 끄는 기능을 제공하지 않습니다. 사용자는 비디오별로 오디오 트랙을 수동으로 조정해야 합니다. 이로 인해 일부 개발자는 자동 번역 및 더빙 레이어를 특별히 차단하기 위해 "YouTube Anti-Translate"와 같은 브라우저 플러그인을 출시하게 되었습니다.
이번 업데이트의 주요 혁신은 AI 립싱크 기능이 인공 지능 기술을 사용하여 자동으로 생성된 오디오 트랙을 영상 속 인물의 입 모양과 완벽하게 일치시켜 모양과 느낌을 크게 개선하고 더욱 부드럽고 자연스러운 영상 경험을 제공할 수 있다는 것입니다. 크리에이터는 YouTube 스튜디오를 통해 립싱크 더빙 기능을 켤 수 있습니다. 첫 번째 파일럿은 YouTube 파트너 프로그램 회원에게 열려 있으며 Google은 향후 모든 동영상으로 이를 확장할 예정입니다.
다국어 더빙 측면에서 YouTube는 자체 개발한 AI 모델(Gemini 및 Aloud 포함)을 사용하여 다국어 오디오 트랙을 생성합니다. 이 트랙은 원래 화자 목소리의 감정과 억양을 복원할 뿐만 아니라 배경 소리와 사람 목소리를 분리합니다. 구글에 따르면 일부 채널에서 다국어 더빙이 활성화된 이후 비원어민 시청자 수가 3배로 늘어나 성장 가능성이 높다고 한다.
AI 자동 더빙과 립싱크 기술은 창작자의 관객 확대와 광고 수익 증대에 중요한 역할을 하고 있지만, 원작 콘텐츠의 진정성과 관객 경험에 영향을 미칠지는 여전히 논란이 많다. 지지자들은 이러한 움직임이 전 세계 시청자의 시청을 촉진하고 콘텐츠의 영향력을 강화한다고 믿습니다. 비평가들은 자동화가 원본 작품의 독특한 스타일을 손상시킬 것이라고 우려합니다. AI 립싱크가 이상과 현실의 격차를 완전히 메울 수 있을지 업계에서는 여전히 그 영향을 관찰하고 있습니다.