Google опубликовал описание работы системы MnasNet на основе автоматизированной нейронной сети
Google опубликовал описание работы системы MnasNet на основе автоматизированной нейронной сети
Специалисты Google описали работу системы MnasNet на основе автоматизированной нейронной сети в публикации. Нейросеть использует способ обучения с подкреплением для выбора подходящей мобильному устройству архитектуры.
Структура
Система MnasNet содержит:
- объект управления на базе рекуррентной нейросети для обучения и подбора архитектуры модели;
- тренера, выстраивающего модели и обучающий их точности;
- машину вывода, которая вычисляет скорость модели на телефонах, используя TensorFlow.
Команда использовала многокритериальную оптимизацию с целью добиться высокой скорости и точности. Дополнительно учёные задействовали алгоритм обучения с подкреплением и функцией вознаграждения. Таким образом, MnasNet находит для каждой платформы оптимальность по Парето. Для каждого мобильного устройства создаются индивидуальные особенности, требующие определённой архитектуры.
Для достижения оптимального баланса между гибкостью поиска и областью допустимых решений, применили иерархический подход. Он представляет свёрточную нейронную сеть в виде ряда блоков. Затем использует последовательный поиск для назначения слоёв архитектуры каждому блоку. Благодаря этому каждый слой использует различные операции и связи. При этом слои блоков принудительно копируются.
Тестирование
Учёные включили скорость поиска архитектуры в функцию вознаграждения поискового алгоритма. По заявлению разработчиков, система подбирает модель в 1,5 раза быстрее MobileNetV2 и в 2,4 раза быстрее NASNet, при этом учитывает оптимальные показатели точности и скорости. В качестве доказательства результат продемонстрировали на примере работы с базой изображений ImageNet.
