Яндекс запустил сервис по синхронному переводу видео с английского языка

Российская компания Яндекс запустила сервис закадрового синхронного перевода видео с английского языка на русский.

Теперь, в режиме реального  времени, можно смотреть англоязычные обучающие курсы, лекции, новостные каналы, фильмы, заниматься самообразованием.
Яндекс давно занимается технологиями перевода. В 2011 году появился переводчик текстов, затем текста на картинках и вот теперь в Яндекс браузер внедрили машинный перевод видео.

Возникает вопрос: «Как нейросетевой перевод видео помогает преодолеть языковой барьер и смотреть любой свежий контент в интернете на русском ?»

Рассмотрим, как работает автоматический перевод видео поэтапно

На первом шаге, при обработке ролика идет распознавание речи и её преобразование в текст. На этом этапе нейросеть группирует слова по смыслу и расставляет знаки пунктуации. Наличие субтитров под видео учитывается при условии, что они написаны человеком и игнорируются если сгенерированы автоматически.

Вторым этапом определяется пол говорящего для каждого участка текста, чтобы затем наложить на них мужской или женский голос. В дальнейшем, для лучшего восприятия, Яндекс планирует научить нейросеть синтезировать голос каждого спикера на видео.

Третий этап — перевод текста. Происходит стандартный перевод, при котором в переводчик закладывается информация о поле говорящего, что делает превод корректным.

На четвертом этапе происходит синтез речи. Основная сложность при этом возникает в результате того, что фразы на русском языке длиннее чем на английском, поэтому для синхронного перевода нейросеть сокращает паузы между фраз, а когда этого недостаточно, ускоряет саму фразу. Иногда это выглядит неестественно, но думается со временем проблема будет решена.

Пятым этапом браузер отправляет пользователю уведомление о готовности перевода. Делается это потому, что для выполнения закадрового перевода видео, системе всё ещё требуется определённое время, как правило это минуты.

Вот что получаем в итоге.

Образец готового перевода видео с английского на русский язык с помощью переводчика Яндекс.Браузер.

В заключении

Перевод видео пока что работает в Яндекс.Браузере для десктопа и Android, а также в приложении Яндекс для Android и iOS. Будем надеятся, что в будущем появится технология перевода не привязанная к браузеру и возможность переводить видео с других языков. Однако уже сейчас, данное решение помогает миллионам пользователям рунета, преодолев языковой барьер изучать свежий англоязычный видеоконтент.

Присоединяйтесь и Вы!

Смотрите видео по русски и наслаждайтесь!

Читайте другие наши статьи в рубрике «Новости технологий», отправляйте комментарии, задавайте вопросы.

Удачи и успехов!

Понравилась статья? Поделись с друзьями!

ПОХОЖИЕ СТАТЬИ:

Добавить комментарий