В браузере «Яндекса» теперь можно смотреть зарубежные прямые трансляции роликов на YouTube сразу на русском языке. Сообщение об этом появилось на сайте компании.
Технология работает благодаря нейросетям, которые автоматически переводят текст на видео с пяти иностранных языков и озвучивают его. На данный момент ею можно воспользоваться при просмотре стримов, на которых в оригинале присутствует английская, немецкая, испанская, итальянская или французская речь.
Пока синхронный голосовой перевод доступен только для нескольких каналов. В их числе Apple, Google, TechCrunch, SpaceX, TED и другие. Работает технология в режиме открытого бета-тестирования.
В ближайшее время компания планирует тестировать переводы с азиатских языков, включая китайский и японский. Но когда они будут доступны для всех пользователей, пока неясно.
Также «Яндекс» намерен внедрить технологию на стриминговые площадки помимо YouTube. Например, на сервис с прямыми эфирами Twitch. Но это требует времени — функция появится на платформе не раньше 2023 года.
Представители компании отметили, что для запуска технологии синхронного перевода прямых трансляций пришлось поменять механику, которая использовалась для перевода обычных видео. Раньше нейросеть получала аудиодорожку всего ролика, что сильно облегчало задачу.
Для перевода прямых трансляций «Яндекс» использует сразу несколько нейросетей. Первая распознает аудио и превращает его в текст. Вторая определяет пол спикера по биометрии. Третья расставляет знаки препинания и выделяет смысловые фрагменты текста. Четвертая получает готовый текст, переводит его и озвучивает на русском языке мужским или женским голосом.
Автоматический закадровый перевод полностью загруженных видео на YouTube «Яндекс» добавил в сентябре 2021 года. В ноябре появилась возможность смотреть видео, которые в оригинале звучат на французском, испанском и немецком.