+38/050/370-3627
+38/067/502-3306
+38/044/257-2444
Новини

Microsoft та NVIDIA поєднали зусилля для створення моделі генерації природної мови Megatron-Turing Natural Language Generation

Microsoft і NVIDIA об'єднують зусилля для створення моделі генерації природної мови Megatron-Turing Генерація природної мови

Microsoft і NVIDIA об'єднали зусилля для створення моделі генерації природної мови Megatron-Turing, яка містить 530 мільярдів параметрів. Це найбільша і найпотужніша монолітна модель мови трансформатора, навчена на сьогоднішній день.

Тенденція зміни розмірів сучасних НЛП моделей з плином часу

Mt-NLG має в 3 рази більше параметрів в порівнянні з існуючою найбільшою моделлю цього типу і демонструє неперевершену точність в широкому спектрі завдань природною мовою, таких як:

  • прогнозування завершеності тексту за змістом ;
  • розуміння читання;
  • генерація умовиводу;
  • створення висновків природною мовою;
  • розрізнення значення слів з множинними значеннями.

Навчання такої потужної моделі стало можливим завдяки численним нововведенням. Наприклад, NVIDIA і Microsoft об'єднали найсучаснішу інфраструктуру навчання на основі графічного процесора з передовим стеком програмного забезпечення для розподіленого навчання. Були створені бази даних природною мовою, які включають в себе сотні мільярдів одиниць контенту, а також розроблені методи навчання для підвищення ефективності та стабільності оптимізації.

Інші новини