Розуміння природної мови Microsoft DeBERTa (NLU) перевершує людські можливості

Алгоритм Розуміння природної мови (NLU) від Microsoft DeBERTa перевершив людські можливості в одному з найскладніших тестів для таких алгоритмів, SuperGLUE. На даний момент модель займає перше місце в  рейтингу з показником 90, 3, при цьому середнє значення людських можливостей становить 89, 8 бала.

Тест SuperGLUE включає в себе ряд завдань, які покликані оцінити здатність моделей ШІ розпізнавати і розуміти природну мову, наприклад, дати правильну відповідь на питання на основі прочитаного параграфа, визначити, чи правильно використовується багатозначне слово в певному контексті і т.д. Тест був розроблений групою дослідників в 2019 році. Коли був представлений SuperGLUE, розрив між найефективнішою моделлю і працездатністю людини в таблиці лідерів склав майже 20 балів.

Для того щоб досягти поточного результату в 90, 3 бала, DeBERTa отримала серйозне оновлення архітектури: тепер вона складається з 48 шарів і має 1, 5 мільярда параметрів. Microsoft зробить модель і її вихідний код загальнодоступними. Крім того, DeBERTa буде інтегрована в наступну версію моделі Тьюринга microsoft Turing (Turing NLRv4). Моделі Тьюринга використовуються в таких продуктах Microsoft, як Bing, Office, Dynamics і Azure Cognitive Services для поліпшення, наприклад, взаємодії чат-ботів, рекомендацій і відповідей на питання, пошуку, автоматизації підтримки клієнтів, створення контенту і багатьох інших завдань на користь сотень мільйонів користувачів.

На відміну від інших моделей, DeBERTa враховує не тільки значення слів, але і їх позиції і ролі. Наприклад, в реченні «поруч з новим торговим центром відкрився новий магазин» вона може зрозуміти, що «магазин» і «торговий центр» (предмет тут - «магазин») грають різні синтаксичні ролі (предмет тут - «магазин»). Більш того, вона здатна визначити залежність слів один від одного. Наприклад, DeBERTa розуміє, що зв'язок між словами "глибокий" і "навчання" набагато сильніше, коли вони стоять пліч-о-пліч (термін "глибоке навчання"), ніж коли вони відбуваються в різних реченнях.

Незважаючи на те що модель DeBERTa перевершила людські показники в тесті SuperGLUE, це не означає, що модель ШІ досягла рівня людини в розумінні природної мови. На відміну від машин, люди добре вміють використовувати раніше отримані знання при виконанні різних завдань для вирішення нових – це називається композиційним узагальненням. Тому, незважаючи на перспективні результати DeBERTa в тесті, необхідно продовжувати дослідження, щоб розвинути цю навичку в моделі.

Microsoft активно працює над вдосконаленням технологій штучного інтелекту. Так, у жовтні 2020 року був введений прогресивний алгоритм ШІ для автоматичної генерації підписів до зображень, які в багатьох випадках виявляються більш точними, ніж написані людьми. Це зробить продукти та послуги Microsoft ще більш інклюзивними та доступними для більшої кількості користувачів. Перш за все, автоматичний опис допомагає людям з порушеннями зору при роботі з документами або веб-сторінками, а також взагалі дозволяє отримати доступ до вмісту будь-якого зображення, наприклад, при пошуку або підготовці презентацій.