Живі субтитри і транскрипція в Microsoft Teams розробляються завдяки обчислювальним технологіям NVIDIA

Платформа Microsoft Teams допомагає проводити онлайн-зустрічі за допомогою живих субтитрів, створених штучним інтелектом, і транскрипцій у режимі реального часу. Ці функції побудовані на обчислювальній технології NVIDIA для навчання ШІ та сервері Triton Inference від NVIDIA для виведення моделей розпізнавання мовлення.

Teams дозволяє майже 250 мільйонам активних користувачів щомісяця спілкуватися та співпрацювати по всьому світу. Розмови в Teams мають субтитри та транскрибуються на 28 мовах за допомогою когнітивних служб Microsoft Azure. Цей процес незабаром запустить критично важливий висновок нейронної мережі з інтенсивними обчисленнями на графічних процесорах NVIDIA.

Функція субтитрів у прямому ефірі допомагає учасникам стежити за розмовою в режимі реального часу, а функції транскрипції допомагають учасникам пізніше відновити перипетії обговорення або надолужити згаяне, якщо вони були відсутні. Субтитри в режимі реального часу можуть бути особливо корисними для глухих або слабочуючих відвідувачів, а також для тих, хто не є носіями мови, що використовується при зустрічі. 

Teams використовує Cognitive Services для оптимізації моделей розпізнавання мовлення за допомогою програмного забезпечення для виведення NVIDIA Triton з відкритим вихідним кодом.

Triton дозволяє Cognitive Services підтримувати високотехнологічні мовні моделі, надаючи високоточні персоналізовані результати мовлення в режимі реального часу з дуже низькою затримкою. Реалізація Triton гарантує, що графічні процесори NVIDIA, на яких працюють ці моделі перетворення говоріння у текст, повністю використовуються, знижуючи вартість і забезпечуючи більш високу пропускну здатність з меншою кількістю обчислювальних ресурсів.

Деякі з основних функцій NVIDIA Triton, які дозволяють масштабувати субтитри та функції транскрипції Microsoft Teams для більшої кількості зустрічей та користувачів, включають:

• Потоковий вихід: NVIDIA та Azure Cognitive Services працювали разом, щоб налаштувати програму перетворення говоріння у текст за допомогою нової державної функції потокового виводу, яка може відстежувати попередній мовний контекст, щоб підвищити точність субтитрів на основі затримки.
• Динамічне дозування: Розмір пакета - це кількість вхідних зразків, які нейронна мережа обробляє одночасно. Завдяки динамічному пакетуванню Triton окремі вихідні запити автоматично упаковуються, що дозволяє краще використовувати ресурси графічного процесора, не впливаючи на затримку моделі.
• Паралельне виконання моделі. Створення підписів та транскрипцій у реальному часі вимагає одночасного запуску кількох моделей глибокого навчання. Triton дозволяє розробникам робити це одночасно на одному графічному процесорі, навіть з моделями, що використовують різні платформи глибокого навчання.