"Яндекс.Браузер" получит технологию, которая может автоматически переводить закадровый текст в прямых трансляциях на YouTube.
Браузер будет переводить трансляции на русский язык с английского, немецкого, французского, итальянского и испанского. Сейчас функция находится в бета-версии.
Для перевода одна нейросеть распознает аудио и превращает его в текст буквально, а другая определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их "получает" четвертая нейросеть, которая отвечает за перевод, синтезируемый на русском языке.
"Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Перевод трансляций уже можно запустить на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие", - указал руководитель приложения "Яндекс" и "Яндекс.Браузера" Дмитрий Тимко.
Еще прошлым летом "Яндекс" запустил тестирование технологии машинного перевода видео. Предполагалось, что переводить можно будет ролики на YouTube, Vimeo и нескольких других популярных платформах.
Затем в ноябре "Яндекс" запустил закадровый перевод видео еще для трех языков — французского, испанского и немецкого. Новые возможности доступны в "Браузере" для Windows, macOS, Linux и Android и в приложении "Яндекс" для Android и iOS. На смартфоне перевод можно запустить, сказав фразу "Алиса, включи перевод видео".