Microsoft та NVIDIA поєднали зусилля для створення моделі генерації природної мови Megatron-Turing Natural Language Generation
Microsoft і NVIDIA об'єднують зусилля для створення моделі генерації природної мови Megatron-Turing Генерація природної мови
Microsoft і NVIDIA об'єднали зусилля для створення моделі генерації природної мови Megatron-Turing, яка містить 530 мільярдів параметрів. Це найбільша і найпотужніша монолітна модель мови трансформатора, навчена на сьогоднішній день.
Тенденція зміни розмірів сучасних НЛП моделей з плином часу
Mt-NLG має в 3 рази більше параметрів в порівнянні з існуючою найбільшою моделлю цього типу і демонструє неперевершену точність в широкому спектрі завдань природною мовою, таких як:
- прогнозування завершеності тексту за змістом ;
- розуміння читання;
- генерація умовиводу;
- створення висновків природною мовою;
- розрізнення значення слів з множинними значеннями.
Навчання такої потужної моделі стало можливим завдяки численним нововведенням. Наприклад, NVIDIA і Microsoft об'єднали найсучаснішу інфраструктуру навчання на основі графічного процесора з передовим стеком програмного забезпечення для розподіленого навчання. Були створені бази даних природною мовою, які включають в себе сотні мільярдів одиниць контенту, а також розроблені методи навчання для підвищення ефективності та стабільності оптимізації.
