Meta выбрала технологии Nvidia, чтобы создать самую мощную вычислительную систему для задач искусственного интеллекта
Анонсированный кластер AI Research SuperCluster (RSC) уже обучает новые модели, продолжая совершенствовать алгоритмы ИИ.
Ожидается, что после полного развертывания Meta RSC станет крупнейшей клиентской системой на базе Nvidia DGX A100.
«Мы надеемся, что кластер RSC поможет нам создать совершенно новые системы искусственного интеллекта, которые смогут, например, обеспечивать голосовой перевод в реальном времени для больших групп людей, говорящих на разных языках, чтобы они могли совместно работать над исследовательскими проектами или играть в игры с дополненной реальностью», — говорится в сообщении компании в блоге.
Когда RSC будет полностью построен — чуть позже в этом году — Meta планирует использовать его для обучения моделей ИИ с более чем триллионом параметров. Это может улучшить такие области как обработка естественного языка для таких задач как выявление вредоносного контента в режиме реального времени.
Помимо масштабируемой производительности в качестве ключевых критериев RSC компания Meta назвала исключительную надежность, безопасность, конфиденциальность и гибкость для работы с «широким спектром моделей ИИ».
Кластер RSC от Meta построен на базе сотен систем Nvidia DGX, объединенных в сеть с помощью коммутаторов Nvidia Quantum InfiniBand, для ускорения работы команд исследователей.
В качестве вычислительных узлов в новом суперкомпьютере для ИИ используется 760 систем Nvidia DGX A100. В общей сложности они содержат 6080 графических процессоров Nvidia A100, объединенных в сеть с помощью Nvidia Quantum 200 Гбит/с InfiniBand, что обеспечивает производительность TF32 в 1895 петафлопс.
Несмотря на проблемы, вызванные COVID-19, потребовалось всего 18 месяцев, чтобы перейти от идеи на бумаге к работающему суперкомпьютеру для ИИ, в том числе благодаря технологиям Nvidia DGX A100.
Meta уже во второй раз выбирает технологии Nvidia в качестве основы для исследовательской инфраструктуры компании. В 2017 г. Meta построила первое поколение этой инфраструктуры для исследований ИИ на базе 22 тыс. графических процессоров Nvidia V100 с тензорными ядрами, которые ежедневно выполняют порядка 35 тыс. заданий по обучению ИИ.
Предварительные тесты Meta показали, что RSC может обучать большие NLP-модели в 3 раза быстрее и выполнять задачи компьютерного зрения в 20 раз быстрее, чем система 2017 г.
На втором этапе RSC расширится до 16 тыс. графических процессоров, которые, по мнению Meta, обеспечат производительность в задачах ИИ в 5 экзафлопс в операциях со смешанной точностью. Также Meta планирует расширить систему хранения RSC до эксабайта при скорости в 16 ТБ в секунду.
Технологии искусственного интеллекта Nvidia доступны компаниям любого масштаба.
Система Nvidia DGX, которая включает в себя полный стек программного обеспечения для ИИ от Nvidia, масштабируется от одной системы до уровня кластера DGX SuperPOD, работающего локально или через провайдеров. Клиенты также могут арендовать системы DGX через Nvidia DGX Foundry.