Google опубликовал обновление аудиокодека Lyra 0.0.2, оптимизированного для медленных каналов связи

Google опубликовал обновление аудиокодека Lyra 0.0.2, оптимизированного для достижения максимального качества передачи речи при использовании очень медленных каналов связи. Кодек Lyra был открыт в начале апреля, но поставлялся в привязке к проприетарной математической библиотеке. В версии 0.0.2 данный недостаток устранён и для указанной библиотеки создана открытая замена - sparse_matmul, которая как и сам кодек распространяется под лицензией Apache 2.0. Из других улучшений можно отметить возможность использования сборочной системы Bazel с компилятором GCC и использование данной связки по умолчанию в Linux вместо Bazel+Clang.

По качеству передаваемых голосовых данных на низких скоростях Lyra существенно превосходит традиционные кодеки, в которых используются методы цифровой обработки сигналов. Для достижения высокого качества передачи голоса в условиях ограниченного объёма передаваемой информации, помимо обычных методов сжатия звука и преобразования сигналов, в Lyra применяется речевая модель на базе системы машинного обучения, позволяющая воссоздать недостающую информацию на основе типовых характеристик речи. Задействованная для генерации звука модель обучена с использованием нескольких тысячах часов с записями голосов на более чем 70 языках. Производительности предложенной реализации достаточно для кодирования и декодирования речи в режиме реального времени на смартфонах среднего ценового диапазона, с задержкой передачи сигнала на уровне 90 миллисекунд.

Lyra version 0.0.2 is now available on GitHub. The main improvement of this version is the open-source release of the sparse_matmul library code, which was co-developed by Google and DeepMind. That means no more pre-compiled “.so” dynamic library binaries and no more restrictions on which toolchain to use, which opens up the door to port Lyra onto different platforms. The full list of features and fixes include:

• Release sparse_matmul library code and remove pre-compiled dynamic library binaries.
• Add support for the Bazel default gcc toolchain on linux, and make this the default instead of the clang toolchain.
• Fix noise bursts at the beginning of output audio files.
• Abstract out UnitFloatToInt16Scalar, UnitFloatToInt16 and Int16ToUnitFloat functions.
• Provide operator<< to unique_ptr to be used with CHECK() macros.
• Fix float distribution compatibility in benchmark_decode_lib.