Google опублікував опис роботи системи MnasNet на основі автоматизованої нейронної мережі
Google опублікував опис роботи системи MnasNet на основі автоматизованої нейронної мережі
Фахівці Google описали роботу системи MnasNet на основі автоматизованої нейронної мережі в публікації. Нейросеть використовує спосіб навчання з підкріпленням для вибору відповідної мобільного пристрою архітектури.
Структура
Система MnasNet містить:
- об'єкт управління на базі рекурентної нейромережі для навчання та підбору архітектури моделі;
- тренера, що вибудовує моделі і навчаючий їх точності;
- машину виводу, яка обчислює швидкість моделі на телефонах, використовуючи TensorFlow.
Команда використовувала багатокритеріальну оптимізацію з метою домогтися високої швидкості та точності. Додатково вчені задіяли алгоритм навчання з підкріпленням та функцією винагороди. Таким чином, MnasNet знаходить для кожної платформи оптимальність за Парето. Для кожного мобільного пристрою створюються індивідуальні особливості, які потребують певної архітектури.
Для досягнення оптимального балансу між гнучкістю пошуку та областю допустимих рішень, застосували ієрархічний підхід. Він представляє згорткову нейронну мережу у вигляді ряду блоків. Потім використовує послідовний пошук призначення шарів архітектури кожному блоку. Завдяки цьому кожен шар використовує різні операції та зв'язки. При цьому шари блоків копіюються примусово.
Тестування
Вчені включили швидкість пошуку архітектури у функцію винагороди пошукового алгоритму. За заявою розробників, система підбирає модель в 1,5 рази швидше MobileNetV2 і в 2,4 рази швидше NASNet, при цьому враховує оптимальні показники точності та швидкості. Як доказ результат продемонстрували на прикладі роботи з базою зображень ImageNet.
