Microsoft розробила новий суперкомп'ютер на базі хмари Azure для OpenAI
Microsoft розробила новий суперкомп'ютер на базі хмари Azure для OpenAI
Microsoft розробила новий суперкомп'ютер на базі хмари Azure у співпраці та ексклюзивно для OpenAI, дослідницької організації, засновниками якої є Ілон Маск та Сем Альтман. Він став одним із 5 найпотужніших суперкомп'ютерів у світі. Суперкомп'ютер створений спеціально для тренування наступного покоління масивних ІІ-моделей, здатних виконувати ширший спектр функцій і, що вимагають великих обчислювальних ресурсів. Про це компанія повідомила в рамках своєї найбільшої технологічної конференції Microsoft Build 2020. Новина стала наступним етапом анонсованого минулого року співпраці з OpenAI.
Історично експерти з машинного навчання розробляли невеликі ІІ-моделі, які використовували набори розмічених даних, щоб навчитися виконувати якесь одне окреме завдання – розпізнати об'єкт, перекласти текст тощо. Спільнота фахівців зі штучного інтелекту довела, що з цих завдань краще виконуються однією великою моделлю, навченої, наприклад, на мільярдах сторінок публічно доступних текстів. В результаті така модель настільки тонко розуміє нюанси мови, граматику, концепції та контекст, що здатна відмінно виконувати декілька завдань: підбивати підсумки довгих виступів, модерувати чат в онлайн-іграх і навіть генерувати програмний код за результатами пошуку на GitHub. Microsoft, наприклад, розробила власне сімейство подібних моделей - Microsoft Turing models - і найбільшу з мовних моделей, що існують на даний момент, з 17 мільярдами параметрів Turing Natural Language Generation (T-NLG). Компанія також оголосила, що незабаром відкриє код Т'юрінгових. моделей, а також методи їхнього навчання в Azure Machine Learning.
Створення та тренування таких масивних моделей потребує прогресивної суперобчислювальної інфраструктури або кластерів сучасного обладнання, з'єднаних за допомогою мереж високої пропускної спроможності. Суперкомп'ютер, розроблений для OpenAI – це єдина система з більш ніж 285 000 процесорних ядер (CPU core), 10 000 графічних процесорів (GPU) та швидкістю мережного підключення 400 гігабіт на секунду для кожного сервера. Завдяки розміщенню в хмарі Azure суперкомп'ютер має переваги сучасної хмарної інфраструктури, включаючи швидке розгортання, надійність дата-центрів та доступ до сервісів Azure.
Розробка нового суперкомп'ютера для OpenAI – перший крок на шляху до того, щоб зробити наступне покоління масивних ІІ-моделей та інфраструктуру, необхідну для їхнього навчання, доступними широкому колу організацій та розробників у всьому світі.
