NVIDIA анонсувала восьме покоління TensorRT
NVIDIA анонсувала восьме покоління TensorRT
Восьме покоління TensorRT має ще більше прискорити і полегшити процес розробки. Компанія активно просуває свої рішення в світі систем виведення і за останні кілька місяців оголосила про значне збільшення контрактів на будівництво «розумних» рекомендаційних систем.
Кількість голосових помічників з року в рік збільшується швидкими темпами, але і вони зобов'язані бути якісними - навряд чи комусь сподобається бот або рекомендаційний сервіс, який не здатний впоратися зі своїми обов'язками. Розробки NVIDIA, від компактних плат jetson до надпотужних прискорювачів А100, дозволяють створювати дійсно потужні системи виведення для такого роду завдань, але без супутніх інструментів розробки вони марні.
Попереднє, сьоме покоління платформи ТенсорРТ умовиводу , дозволило досягти десятикратного прискорення в розмовних додатках в порівнянні з їх запуском на класичних процесорах. У новій, щойно анонсованій восьмій версії, NVIDIA продовжила подальшу оптимізацію TensorRT.
Зміни в новому пакеті присутні як кількісні - продуктивність збільшилася в два рази в порівнянні з TensorRT 7 - так і якісні - є підтримка особливостей архітектури Ampere і нової технології Quantization Aware Training (QAT). Крім чистої продуктивності, затримка також знизилася, тепер її мінімальне значення становить всього 1, 2 мс.
З якісних нововведень першим пунктом слід відзначити оптимізацію для роботи в режимі Розрідженості, при якій знижуються незначні параметри, які практично не впливають на результат. TensorRT 8 дозволяє не витрачати значні ресурси в таких випадках, заощаджуючи як обчислювальний годинниковий механізм, так і зберігаючи пам'ять для більш важливих даних. Технологія QAT дозволяє значно підвищити точність розрахунків в режимі INT8 на прискорювачах NVIDIA з архітектурою Ampere.
