Google розробляє нову архітектуру нейронних мереж
Google розробляє проект, пов'язаний зі штучним інтелектом, який дозволить створювати нейронні мережі «наступного покоління», здатні запам'ятовувати «тисячі і мільйони різних завдань». Проект називався Pathways.
На сьогоднішній день нейронні мережі навчаються, як правило, виконувати єдине завдання. Наприклад, якщо для виправлення помилок в написанні слів використовується нейронна мережа, то якщо її перекваліфікувати на пошук граматичних помилок, вона забуде, як виправити написання.
«Приблизно так сьогодні тренується більшість моделей машинного навчання. Замість того, щоб розширювати існуючі моделі для навчання новим завданням, ми навчаємо нові моделі з нуля - виконувати єдине завдання, - написав її віце-президент в блозі компанії - В результаті ми розробляємо тисячі моделей для тисяч індивідуальних завдань. В результаті вивчення нового завдання не тільки займає більше часу, але і вимагає більше даних... ».
Архітектура Pathways покликана змінити це: нейронні мережі можна навчити виконувати багато різних завдань, повідомляє компанія.
Ідея полягає в тому, щоб навчити майбутні системи ШІ різноманітним навичкам, які він міг би використовувати та поєднувати, щоб самостійно навчитися виконувати нові завдання.
«Ми хотіли б мати можливість тренувати модель так, щоб вона могла не тільки виконувати відразу кілька різних завдань, а й використовувати і поєднувати вже напрацьовані навички для навчання новим завданням – швидше і ефективніше», – написав Дін. «Зокрема, те, що модель дізнається, вивчаючи одне завдання, наприклад, як визначити височини в ландшафті за аерофотознімками, може допомогти з іншим завданням – прогнозуванням того, як водні потоки будуть протікати через дану місцевість. Ми хочемо, щоб модель мала різні можливості, які можна використовувати за потреби, і які можна об'єднати для виконання нових, більш складних завдань. Це маленький крок до того, як мозок ссавців узагальнює різні завдання».
Google також зазначає, що Pathways дозволить реалізувати мультимодальні моделі, які зможуть обробляти та розуміти вхідні візуальні, акустичні та мовні дані – все одночасно. Щоб, коли автомобіль має справу зі словом «леопард» або чує, як хтось вимовляє слово, або аналізує відео, на якому біжить леопард, реакція була б однаковою у всіх трьох випадках: машина розпізнавала б ідею леопарда.
Ще одна проблема, з якою Pathway доведеться допомогти впоратися, полягає в тому, що сьогоднішні моделі машинного навчання передбачають використання всіх нейронних вузлів мережі, незалежно від того, наскільки проста або складна задача. У Google вважають, що домогтися «розрідженою» активації, тобто направити нові завдання можна тільки на окремі масиви нейрокомпонентів. Такий підхід також набагато менш енерговитратний.
Концепція розрідженої нейронної мережі вже застосовувалася в проектах Google Switch Transformer, моделі розуміння природної мови, і Gshard. Вони споживають лише десяту частину енергії, яку довелося б витратити на більш традиційну нейронну мережу, де активуються відразу всі нейронні вузли.
У майбутньому Google очікує, що Pathways приведе до нейронних мереж, здатних виконувати мільйони різних завдань, узагальнюючи між ними, об'єднуючи їх за потреби, розуміючи різні типи даних і працюючи з ними ефективніше, ніж будь-яка мережа сьогодні. Мета проекту - перейти «від епохи однозадачних моделей, які просто розпізнають закономірності, до багатозадачних інтелектуальних систем, які відображають більш глибоке розуміння нашого світу і можуть адаптуватися до нових потреб».