PyTorch 1.0 - Facebook випустила стабільну версію бібліотеки для машинного навчання
PyTorch 1.0 - Facebook випустила стабільну версію бібліотеки для машинного навчання
Facebook випустила стабільну версію бібліотеки для машинного навчання PyTorch 1.0. У цю ітерацію додали підтримку великих хмарних платформ, інтерфейс на C++, набір JIT-компіляторів та різні покращення.
Можливості бібліотеки PyTorch 1.0
Стабільна версія отримала набір JIT-компіляторів, які усувають залежність коду від інтерпретатора Python. Код моделі трансформується в Torch Script — надбудову над Python. Зберігаючи можливість працювати з моделлю в середовищі Python, користувач може завантажити її і в інші проекти, не пов'язані з цією мовою. Так, розробники PyTorch заявляють, що оброблений таким чином код можна буде використовувати в C++ API.Пакет torch.distributed та модуль torch.nn.parallel.DistributedDataParallel повністю перероблені. torch.distributed тепер має більшу продуктивність і асинхронно працює з бібліотеками Gloo, NCCL і MPI.
Розробники додали в PyTorch 1.0 обгортку на С++. Вона містить аналоги компонентів інтерфейсу на Python, такі як torch.nn, torch.optim, torch.data. За словами творців, новий інтерфейс повинен забезпечити високу продуктивність для додатків на C++. Щоправда, C++ API поки що експериментальний, але його можна використовувати в проектах вже зараз.
Для підвищення ефективності роботи з PyTorch 1.0 створено репозиторій Torch Hub, у якому зберігаються передбачені моделі нейромереж. Опублікувати власну розробку можна з використанням файлу hubconf.py, після чого модель буде доступна для завантаження будь-яким користувачем за допомогою torch.hub.load API.
Із бібліотеки видалили підтримку розширень на Сі та модуль torch.utils.trainer.
Підтримка хмарних технологій у PyTorch 1.0
Великі IT-корпорації, такі як Amazon, Google, і Microsoft, працюють над впровадженням PyTorch у свої хмарні сервіси. Наприклад, Amazon в кінці листопада 2018 року представила сервіс Amazon SageMaker Neo, що дозволяє побудувати і навчити один раз моделі машинного навчання на PyTorch 1.0, а потім розгорнути їх в хмарі AWS з дворазовою продуктивністю.
Можливість роботи з бібліотекою також доступна на сервісах Google Cloud Platform та Microsoft Azure Machine Learning. Розробники підготували покрокові інструкції щодо реалізації моделей навчання на цих платформах за допомогою PyTorch 1.0.
Навчальні курси
Facebook та освітня компанія Udacity підготували та запустили в листопаді 2018 року безкоштовний курс для підготовки фахівців з роботи з PyTorch Introduction to Deep Learning with PyTorch, а також програму PyTorch Challenge. За заявою розробників, за перші кілька тижнів у програмі взяли участь десятки тисяч студентів. Крім онлайн-освіти, курси ініціювали безліч зустрічей фахівців з машинного навчання по всьому світі, від США до Індонезії.
У майбутньому навчання PyTorch планують включити в комплексні програми AI Nanodegree.
Розширення для PyTorch
Незалежні інженери вже створили кілька інструментів розширення можливостей PyTorch. Фреймворк Horovod допомагає розподілити між кількома GPU модель навчання, розроблену для одного процесора. PyTorch Geometry дозволяє реалізувати на базі бібліотеки розпізнавання геометричних образів.
Сама Facebook також розробила бібліотеку з відкритим вихідним кодом для PyTorch 1.0 — Translate, призначену для машинних перекладів.
Розробники PyTorch нагадують, що спільнота програмістів, залучених у їх проект, друга за темпами зростання на GitHub. За 2018 рік кількість учасників збільшилась у 2,8 раз. Творці бібліотеки заявили про намір забезпечити нижчий поріг входження в конгломерат розробників під PyTorch 1.0.
