NVIDIA відкрила код StyleGAN, генератора осіб на основі машинного навчання
NVIDIA відкрила код StyleGAN, генератора осіб на основі машинного навчання
NVIDIA відкрила напрацювання, пов'язані з проектом StyleGAN, що дозволяє генерувати зображення нових осіб людей, імітуючи фотографії. Система автоматично враховує аспекти розміщення осіб та робить результат невідмінним від справжніх фотографій (більшість опитаних не змогли відрізнити оригінальні фотографії від згенерованих). Для синтезу осіб застосовується система машинного навчання на основі генеративно-змагальної нейронної мережі (GAN). Код написаний мовою Python із застосуванням фреймворку TensorFlow та опублікований під ліцензією Creative Commons BY-NC 4.0 (тільки для некомерційного використання).
Для завантаження доступні як готові натреновані моделі, так і колекції зображень для самостійного навчання нейронної мережі. Базова модель навчена на основі колекції Flickr-Faces-HQ (FFHQ), що включає 70 тисяч високоякісних (1024x1024) PNG-зображень осіб людей. При цьому система не прив'язана до осіб - як приклад показані варіанти, навчені на колекціях фотографій автомобілів, кішок та ліжок. Для роботи потрібна одна або кілька відеокарт NVIDIA (рекомендується GPU Tesla V100), щонайменше 11 Гб ОЗУ, драйвери NVIDIA 391.35+, інструментарій CUDA 9.0+ та бібліотека cuDNN 7.3.1.
Система дозволяє синтезувати зображення нової особи на основі інтерполяції особливостей кількох осіб, комбінуючи властиві їм риси, а також адаптуючи підсумкове зображення під необхідний вік, стать, довжину волосся, характер посмішки, форму носа, колір шкіри, окуляри, поворот обличчя на фотографії. . Генератор розглядає зображення як колекцію стилів, автоматично відокремлює характерні деталі (ластовиння, волосся, окуляри) від загальних високорівневих атрибутів (поза, стать, вікові зміни) та дозволяє комбінувати їх у довільному вигляді з визначенням домінуючих властивостей через вагові коефіцієнти.
