NVIDIA представила фреймворк NeMo Megatron для навчання надвеликих мовних моделей в інфраструктурі DGX SuperPOD
NVIDIA представила фреймворк NeMo Megatron для навчання надвеликих мовних моделей в інфраструктурі DGX SuperPOD
NVIDIA представила фреймворк NeMo Megatron, оптимізований для навчання надвеликих мовних моделей в інфраструктурі DGX SuperPOD . Ця комбінація готового до використання апаратного та програмного забезпечення розроблена, щоб допомогти організаціям у різних галузях подолати проблеми, пов'язані з вивченням складних моделей НЛП для обробки природної мови.
За допомогою NVIDIA NeMo Megatron ви можете ефективно тренувати масивні моделі мови та мовлення з трильйонами параметрів, дозволяючи розробляти чат-боти для конкретних мов та галузей, особистих помічників, а також створювати та узагальнювати контент за допомогою моделей, які розуміють більш широкий спектр значень та більш широкий контекст.
«Великі мовні моделі надали сучасному ШІ нові можливості для розуміння, запам'ятовування і синтезу ідей », - сказав віце-президент з прикладних досліджень глибокого навчання NVIDIA. " У міру зростання мовних моделей підприємствам потрібна безпечна інфраструктура і масштабоване програмне забезпечення для запуску робочих навантажень НЛП ".
Серед перших, хто почав створювати складні мовні моделі за допомогою NVIDIA DGX SuperPOD, є SiDi, JD Explore Academy і VinBrain. SiDi, один з найбільших в Бразилії науково-дослідних і дослідно-конструкторських інститутів ШІ, адаптував віртуального помічника Samsung для бразильської версії португальської мови, на якій говорять близько 200 мільйонів людей в країні.
JD Explore Academy, відділ досліджень і розробок JD.com, використовує НЛП для обслуговування клієнтів, роздрібної торгівлі, логістики, Інтернету речей та охорони здоров'я. А в'єтнамська VinBrain, компанія з охорони здоров'я, розробила і впровадила клінічну модель для радіологів і телемедицини в 100 лікарнях, де її використовують понад 600 практикуючих лікарів.
NVIDIA NeMo Megatron не тільки автоматизує навчання за допомогою інструментів, які збирають, обробляють, організовують і очищають дані, але також дозволяє розподіляти великі мовні моделі між тисячами графічних процесорів. NeMo Megatron оптимізований для систем DGX SuperPOD, які мають 20 і більше вузлів NVIDIA DGX A100, підключених інтерконектом InfiniBand. Такі системи ідеально підходять для обробки масивних НЛП-навантажень, таких як «Мегатрон-Тьюринг», «НЛГ 530Б» і «ГПТ-3».
