Natural Language Understanding (NLU) Microsoft DeBERTa перевершив людські можливості
Розуміння природної мови Microsoft DeBERTa (NLU) перевершує людські можливості
Алгоритм Розуміння природної мови (NLU) від Microsoft DeBERTa перевершив людські можливості в одному з найскладніших тестів для таких алгоритмів, SuperGLUE. На даний момент модель займає перше місце в рейтингу з показником 90, 3, при цьому середнє значення людських можливостей становить 89, 8 бала.
Тест SuperGLUE включає в себе ряд завдань, які покликані оцінити здатність моделей ШІ розпізнавати і розуміти природну мову, наприклад, дати правильну відповідь на питання на основі прочитаного параграфа, визначити, чи правильно використовується багатозначне слово в певному контексті і т.д. Тест був розроблений групою дослідників в 2019 році. Коли був представлений SuperGLUE, розрив між найефективнішою моделлю і працездатністю людини в таблиці лідерів склав майже 20 балів.
Для того щоб досягти поточного результату в 90, 3 бала, DeBERTa отримала серйозне оновлення архітектури: тепер вона складається з 48 шарів і має 1, 5 мільярда параметрів. Microsoft зробить модель і її вихідний код загальнодоступними. Крім того, DeBERTa буде інтегрована в наступну версію моделі Тьюринга microsoft Turing (Turing NLRv4). Моделі Тьюринга використовуються в таких продуктах Microsoft, як Bing, Office, Dynamics і Azure Cognitive Services для поліпшення, наприклад, взаємодії чат-ботів, рекомендацій і відповідей на питання, пошуку, автоматизації підтримки клієнтів, створення контенту і багатьох інших завдань на користь сотень мільйонів користувачів.
На відміну від інших моделей, DeBERTa враховує не тільки значення слів, але і їх позиції і ролі. Наприклад, в реченні «поруч з новим торговим центром відкрився новий магазин» вона може зрозуміти, що «магазин» і «торговий центр» (предмет тут - «магазин») грають різні синтаксичні ролі (предмет тут - «магазин»). Більш того, вона здатна визначити залежність слів один від одного. Наприклад, DeBERTa розуміє, що зв'язок між словами "глибокий" і "навчання" набагато сильніше, коли вони стоять пліч-о-пліч (термін "глибоке навчання"), ніж коли вони відбуваються в різних реченнях.
Незважаючи на те що модель DeBERTa перевершила людські показники в тесті SuperGLUE, це не означає, що модель ШІ досягла рівня людини в розумінні природної мови. На відміну від машин, люди добре вміють використовувати раніше отримані знання при виконанні різних завдань для вирішення нових – це називається композиційним узагальненням. Тому, незважаючи на перспективні результати DeBERTa в тесті, необхідно продовжувати дослідження, щоб розвинути цю навичку в моделі.
Microsoft активно працює над вдосконаленням технологій штучного інтелекту. Так, у жовтні 2020 року був введений прогресивний алгоритм ШІ для автоматичної генерації підписів до зображень, які в багатьох випадках виявляються більш точними, ніж написані людьми. Це зробить продукти та послуги Microsoft ще більш інклюзивними та доступними для більшої кількості користувачів. Перш за все, автоматичний опис допомагає людям з порушеннями зору при роботі з документами або веб-сторінками, а також взагалі дозволяє отримати доступ до вмісту будь-якого зображення, наприклад, при пошуку або підготовці презентацій.
Рангу | Ім'я | Модель |
1 |
-
|
-
|
Команда DeBERTa - Майкрософт | DeBERTa / TuringNLRv4 | |
-
|
-
|
|
DeBERTa / TuringNLRv4 | ||
2 |
-
|
-
|
Зіруй Ван | T5 + Meena, одиночна модель (команда Meena - Google Brain) | |
3 |
-
|
-
|
Базові лінії людини SuperGLUE | Базові лінії людини SuperGLUE | |
4 |
-
|
-
|
Команда T5 - Google | Т5 | |
5 |
-
|
-
|
Лабораторія ковчега Huawei Noah | НЕЖА-Плюс | |
6 |
-
|
-
|
Alibaba PAI&ICBU | ПАІ Альберт | |
7 |
-
|
-
|
Лабораторія Тенсента Джарвіса | РоБЕРТа (ансамбль) | |
8 |
-
|
-
|
Технологія Жуйї | RoBERTa-mtl-adv | |
9 |
-
|
-
|
Infosys : DAWN : Дослідження штучного інтелекту | RoBERTa-iCETS | |
10 |
-
|
-
|
Фейсбук ШІ | Роберта | |
11 |
-
|
-
|
Тімо Шік | iPET (АЛЬБЕРТ) - Кілька пострілів (32 приклади) | |
12 |
-
|
-
|
Адріан де Вінтер | Борт (Alexa AI) | |
13 |
-
|
-
|
IBM Research AI | BERT-mtl | |
14 |
-
|
-
|
Бен Манн | GPT-3 з декількома пострілами - OpenAI | |
15 |
-
|
-
|
Базові лінії SuperGLUE | BERT++ | |
-
|
-
|
|
БЕРТ | ||
-
|
-
|
|
Найчастіший клас | ||
-
|
-
|
|
CBoW | ||
-
|
-
|
|
За межами найкращого | ||
16 |
-
|
-
|
Ануар Шарафудінов | AILabs (Трансферне навчання) | |
- |
-
|
-
|
Дослідження Стенфордського туману | Підводне плавання [SuperGLUE v1.9] |