В «Яндекс.Браузер» внедрили технологию, которая способна осуществлять автоматический закадровый перевод прямых трансляций на платформе YouTube. Об этом «Газете.Ru» рассказали представители компании «Яндекс».
Таким образом, российские пользователи получили возможность смотреть в режиме онлайн презентации различных продуктов и товаров, космические запуски, интервью со звездами и многое другое, не дожидаясь, пока в сети опубликуют видеоролик с переводом.
Работа с переводом прямой трансляции построена следующим образом: одна нейронная сеть расшифровывает аудио, превращая его в текст, а другая распознает пол спикера по биометрии. Третья нейронная сеть расставляет знаки препинания и разбивает текст на смысловые фрагменты — части, содержащие законченную мысль. Их забирает еще одна нейронная сеть, которая отвечает за перевод, сразу синтезируемый на русском языке.
«Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и например в Twitch. Перевод трансляций уже можно запустить на английском, немецком, французском, итальянском и испанском. Затем мы добавим новые пары европейских языков, а также китайский, японский и другие», — прокомментировал руководитель приложения «Яндекс» и «Яндекс.Браузера» Дмитрий Тимко.