Microsoft анонсировала проект по генерации изображений на основе произведений искусства

Microsoft анонсировала проект по генерации изображений на основе произведений искусства. Компания разработала технологию совместно с Метрополитен-музеем и Массачусетским технологическим институтом (MIT)

Используя общедоступные API-интерфейсы, изображения и ключевые слова, специалисты представили программу под названием Gen Studio, позволяющую комбинировать различные объекты из коллекции Метрополитен-музея. Сервис на основе генеративно-состязательной сети (GAN) также объединен с визуальным поиском, что позволяет пользователям изучать коллекцию и открывать новые области художественного пространства.

В основе лежит GAN, способная находить наиболее близкое соответствие между заданным изображением и настоящим произведением искусства в Метрополитен-музее и комбинировать их в единой работе. Кроме того, пользователи могут самостоятельно смешивать разные произведения – разработчики надеются, что это поможет людям лучше понять визуальную структуру, лежащую в основе музейной коллекции, а также создавать и комбинировать художественные работы, основанные на различных стилях, материалах и формах.

Для создания этого сервиса разработчики использовали микросервисную архитектуру глубоких нейросетей, службы Azure и хранилище BLOB-объектов. Visual Studio Code и Azure Kubernetes Service позволяют создавать новые изображения в режиме реального времени и отвечают за интерактивный внешний вид сайта.

Azure Kubernetes Service существенно упрощает производство, позволяя развернуть сервис всего за несколько дней. Чтобы пользователи могли изучить коллекцию Метрополитен-музея, разработчики загрузили все доступные изображения в кластер Azure Databricks и использовали машинное обучение Microsoft для Apache Spark, чтобы снабдить эти изображения описаниями. С помощью ResNet50 был создан быстрый поиск по визуальному сходству, а данные из кластера были загружены в службу поиска Azure.