Теперь, в режиме реального времени, можно смотреть англоязычные обучающие курсы, лекции, новостные каналы, фильмы, заниматься самообразованием.
Яндекс давно занимается технологиями перевода. В 2011 году появился переводчик текстов, затем текста на картинках и вот теперь в Яндекс браузер внедрили машинный перевод видео.
Возникает вопрос: «Как нейросетевой перевод видео помогает преодолеть языковой барьер и смотреть любой свежий контент в интернете на русском ?»
Рассмотрим, как работает автоматический перевод видео поэтапно
На первом шаге, при обработке ролика идет распознавание речи и её преобразование в текст. На этом этапе нейросеть группирует слова по смыслу и расставляет знаки пунктуации. Наличие субтитров под видео учитывается при условии, что они написаны человеком и игнорируются если сгенерированы автоматически.
Вторым этапом определяется пол говорящего для каждого участка текста, чтобы затем наложить на них мужской или женский голос. В дальнейшем, для лучшего восприятия, Яндекс планирует научить нейросеть синтезировать голос каждого спикера на видео.
Третий этап — перевод текста. Происходит стандартный перевод, при котором в переводчик закладывается информация о поле говорящего, что делает превод корректным.
На четвертом этапе происходит синтез речи. Основная сложность при этом возникает в результате того, что фразы на русском языке длиннее чем на английском, поэтому для синхронного перевода нейросеть сокращает паузы между фраз, а когда этого недостаточно, ускоряет саму фразу. Иногда это выглядит неестественно, но думается со временем проблема будет решена.
Пятым этапом браузер отправляет пользователю уведомление о готовности перевода. Делается это потому, что для выполнения закадрового перевода видео, системе всё ещё требуется определённое время, как правило это минуты.
Вот что получаем в итоге.
Образец готового перевода видео с английского на русский язык с помощью переводчика Яндекс.Браузер.
В заключении
Перевод видео пока что работает в Яндекс.Браузере для десктопа и Android, а также в приложении Яндекс для Android и iOS. Будем надеятся, что в будущем появится технология перевода не привязанная к браузеру и возможность переводить видео с других языков. Однако уже сейчас, данное решение помогает миллионам пользователям рунета, преодолев языковой барьер изучать свежий англоязычный видеоконтент.
Присоединяйтесь и Вы!
Смотрите видео по русски и наслаждайтесь!
Читайте другие наши статьи в рубрике «Новости технологий», отправляйте комментарии, задавайте вопросы.
Удачи и успехов!
