< Back to 68k.news RU front page

В «Яндекс Браузере» появился голосовой перевод трансляций в режиме реального времени

Original source (on modern site) | Article images: [1]

Эта технология есть только у «Яндекса».

Иллюстрация: Светлана Чувилёва / Wylsacom Media

Компания «Яндекс» запустила в собственном браузере закадровый перевод прямых трансляций. Сообщается, что подобных решений нет ни у кого в мире.

Нейросеть переводит на русский сразу с нескольких языков: английского, испанского, немецкого, французского и итальянского. При этом сеть понимает сразу несколько акцентов. Например, она может понять британский, американский английский, а также тот же язык, но из уст индийцев или африканцев.

Чтобы онлайн-перевод трансляций работал, необходимо сразу пять нейросетей, работающих последовательно:

  1. Сначала идёт расшифровка речи в текст. Из-за специфики процесса эта нейросеть отличается от той, которая работает в «Алисе».
  2. Затем по частотам определяется пол говорящего, чтобы подобрать подходящего диктора.
  3. Третья нейросеть выделяет в тексте законченную часть.
  4. После этого текст переводится на русский язык.
  5. Пятая нейросеть озвучивает его.

Пока озвучка трансляций доступна лишь на отдельных каналах в тестовом режиме. Среди них, например, NASA, Apple, TED, TEDx, Google и другие каналы. Полный список можно посмотреть на специальной странице, посвящённой функции перевода трансляций.

< Back to 68k.news RU front page