NVIDIA представила платформу для створення аватарів на основі ШІ
NVIDIA анонсувала NVIDIA Omniverse Avatar, технологічну платформу для створення інтерактивних аватарів штучного інтелекту.
Omniverse Avatar об'єднує технології компанії в мовному ШІ, комп'ютерному зорі, розумінні природної мови, рекомендаційних системах та технологіях моделювання. Аватари, створені на платформі, - це інтерактивні персонажі з 3D графікою на основі трасування променів, які можуть бачити, говорити, розмовляти на найрізноманітніші теми і розуміти висловлені наміри співрозмовника.
Omniverse Avatar відкриває двері для створення розумних помічників, які легко налаштувати практично для будь-якої галузі. Це може допомогти з мільярдами щоденних взаємодій з клієнтами – бронювання ресторанів, банківські операції, зустрічі, бронювання тощо, що призведе до збільшення можливостей для бізнесу та підвищення задоволеності клієнтів.
«Настав час розумних віртуальних помічників, - говорить Дженсен Хуанг, засновник і генеральний директор NVIDIA. «Omniverse Avatar поєднує в собі основну графіку, моделювання та технології штучного інтелекту nvidia для створення найскладніших додатків у реальному часі. Сценарії використання спільних роботів та віртуальних помічників неймовірні та багатообіцяючі».
Omniverse Avatar є частиною NVIDIA Omniverse™, віртуальної платформи для співпраці та моделювання 3D-робочих процесів. У своїй доповіді на конференції NVIDIA GTC Дженсен поділився різними прикладами Omniverse Avatar: Project Tokkio для підтримки клієнтів, NVIDIA DRIVE Concierge для розумних послуг на транспорті та Project Maxine для відеоконференцій.
На першій демонстрації Проекту Токкіо Дженсен показав колегам, які говорять на такі теми, як біологія та наука про клімат, з аватаром Іграшки Дженсена, створеним як іграшкова копія його самого.
У другій демонстрації Project Tokkio він показав аватар обслуговування клієнтів у ресторані, який міг бачити, розмовляти та розуміти двох клієнтів, коли вони замовляли вегетаріанські бургери, картоплю фрі та напої. Демонстрації були засновані на програмному забезпеченні AI від NVIDIA та Megatron 530B, найбільшій у світі настроюваній мовній моделі.
У демонстрації платформи DRIVE Concierge AI цифровий помічник на центральному екрані приладової панелі допомагає водієві вибрати режим водіння, щоб вчасно дістатися до місця призначення, а потім слідує його запиту встановити нагадування, коли до мети залишилося менше 100 миль.
Дженсен також продемонстрував здатність Project Maxine додавати сучасні відео- та аудіофункціі до віртуальної співпраці та додатків для створення контенту. Під час відеодзвінка жінка знаходиться в галасливому кафе, але її чути чітко, без фонового шуму. Її слова транскрибуються і перекладаються в режимі реального часу на німецьку, французьку та іспанську мови з однаковим голосом і інтонацією.
Ключові елементи аватара Omniverse
Omniverse Avatar використовує елементи мовного ШІ, комп'ютерного зору, розуміння природної мови, механізми рекомендацій, анімацію обличчя та графіку, отримані за допомогою наступних технологій:
- Розпізнавання мовлення базується на наборі розробників програмного забезпечення NVIDIA Riva, який розпізнає мовлення на кількох мовах. Riva також використовується для створення мовних відповідей за допомогою можливостей перетворення тексту в мову.
- Розуміння природної мови базується на моделі великої мови Megatron 530B , яка може розпізнавати, розуміти та генерувати людську мову. Megatron 530B - це попередньо навчена модель, яка може практично без підготовки складати повні речення, відповідати на питання у великій предметній області, узагальнювати довгі складні історії, перекладати на інші мови та працювати в багатьох інших областях, для яких вона спеціально не підготовлена.
- Механізм рекомендацій заснований на фреймворку NVIDIA Merlin™, що дозволяє компаніям створювати рекомендаційні системи глибокого навчання, здатні обробляти великі обсяги даних, щоб робити більш підходящі пропозиції.
- Можливості сприйняття засновані на фреймворку комп'ютерного зору для відеоаналітики NVIDIA Metropolis.
- Анімація аватара заснована на 2D і 3D анімації обличчя і технологіях рендеринга на основі штучного інтелекту NVIDIA Video2Face і Audio2Face™.
Ці технології об'єднуються в додаток і обробляються в режимі реального часу за допомогою уніфікованої обчислювальної структури NVIDIA. Упаковані в масштабовані, настроювані мікросервіси, ці навички можна розгорнути та керувати ними в різних місцях за допомогою команди nvidia Fleet Command™.