Google представила Translatotron - инструмент для синхронного перевода устной речи с одного языка на другой
Google представила Translatotron - инструмент для синхронного перевода устной речи с одного языка на другой
Google представила инструмент для синхронного перевода устной речи с одного языка на другой. Технология получила название Translatotron.
Важной особенностью разработки стало то, что она позволяет переводить разговоры с сохранением голоса и интонации говорящего. При этом конвертация голоса в текст и обратно не производится, как в случае с «Google.Переводчиком». Translatotron пропускает этот этап и работает напрямую со звуком — система создаёт «слепок» исходной речи и преобразует её.
Представленная Google нейросеть принимает спектрограмму — визуальное представленияечастот — исходной аудиозаписи с голосом и синтезирует спектрограмму с речью на другом языке. Затем алгоритм синтезирует аудиофайл. Такой метод позволяет существенно ускорить перевод устной речи, но к середине мая 2019 года точность ещё далека от совершенства.
Хотя наши результаты отстают от обычной каскадной системы, мы продемонстрировали возможность сквозного прямого преобразования речи в речь, — говорится на сайте Google.
При этом, по словам разработчиков, Translatotron обеспечивает более точный перевод, чем базовая каскадная модель, а также лучше обрабатывает имена собственные.
Синтезированный голос, правда, звучит несколько роботизированно, но схожесть с оригиналом все же большая. Прослушать образцы машинного перевода можно в блоге Google.
Специалисты Google проверили работу алгоритма с помощью BLEU-метода, при котором машинный перевод сравнивается с переводом, выполненным человеком. Они переводили устную речь с испанского на английский язык.
Translatotron может улучшить голосового помощника Google Assistant, который в мае 2019 года стал работать в 10 раз быстрее благодаря тому, что компания сократила рекуррентные нейронные сети и перенесла обработку речи на устройства.