«Яндекс» представил новую технологию автоматического закадрового перевода прямых трансляций на YouTube. Смотреть презентации Apple, NASA, вебинары, конференции и другие стримы каналов из списка можно сразу на русском языке. Бета-версия доступна в последней версии «Яндекс Браузера».
Сейчас сервис поддерживает перевод с пяти языков: английского, немецкого, испанского, итальянского и французского; также тестируется возможность перевода других европейских языков, а также китайского и японского.
«Закадровый перевод потокового видео является сложной инженерной задачей, и над ее реализацией работают сразу несколько нейросетей: одна распознает аудио и делает из него текст, другая определяет пол спикера, а третья расставляет знаки препинания и выделяет смысловые фрагменты. Еще одна нейросеть на основе этих данных синтезирует закадровый голос на русском языке», — рассказывают в компании.
Перевод потоковых трансляций и видеороликов планируют запустить и в Twitch, но это «потребует много времени».
Автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» «Яндекс» добавил в сентябре 2021 года.
