Google опубликовал описание работы системы MnasNet на основе автоматизированной нейронной сети

Специалисты Google описали работу системы MnasNet на основе автоматизированной нейронной сети в публикации. Нейросеть использует способ обучения с подкреплением для выбора подходящей мобильному устройству архитектуры.

Структура

Система MnasNet содержит:

• объект управления на базе рекуррентной нейросети для обучения и подбора архитектуры модели;
• тренера, выстраивающего модели и обучающий их точности;
• машину вывода, которая вычисляет скорость модели на телефонах, используя TensorFlow.

Команда использовала многокритериальную оптимизацию с целью добиться высокой скорости и точности. Дополнительно учёные задействовали алгоритм обучения с подкреплением и функцией вознаграждения. Таким образом, MnasNet находит для каждой платформы оптимальность по Парето. Для каждого мобильного устройства создаются индивидуальные особенности, требующие определённой архитектуры.

Для достижения оптимального баланса между гибкостью поиска и областью допустимых решений, применили иерархический подход. Он представляет свёрточную нейронную сеть в виде ряда блоков. Затем использует последовательный поиск для назначения слоёв архитектуры каждому блоку. Благодаря этому каждый слой использует различные операции и связи. При этом слои блоков принудительно копируются.

Тестирование

Учёные включили скорость поиска архитектуры в функцию вознаграждения поискового алгоритма. По заявлению разработчиков, система подбирает модель в 1,5 раза быстрее MobileNetV2 и в 2,4 раза быстрее NASNet, при этом учитывает оптимальные показатели точности и скорости. В качестве доказательства результат продемонстрировали на примере работы с базой изображений ImageNet.