Intel представила проект NLP Architect для обробки та розпізнавання сенсу інформації природною мовою

Компанія Intel представила проект NLP Architect, в рамках якого відкрито напрацювання в галузі застосування методів глибинного машинного навчання для обробки та розпізнавання сенсу інформації природною мовою (NLP/NLU, Natural Language Processing/Understanding). Код бібліотеки написаний мовою Python та поширюється під ліцензією Apache 2.0. Бібліотека підтримує роботу з фреймворками машинного навчання Intel Nervana™ graph, Intel neon, Tensorflow, Dynet та Keras.

Із завдань, для вирішення яких може застосовуватися NLP Architect, називається проведення тренування моделей з використанням алгоритмів, еталонних наборів даних і налаштувань (також надаються вже натреновані моделі для різного застосування); тренування з використання своїх даних; створення нових чи розширення доступних моделей; дослідження застосування різних моделей глибинного машинного навчання для вирішення завдань обробки інформації природною мовою; проведення експериментів та оптимізація алгоритмів машинного навчання; інтеграція у свої проекти готових модулів та утиліт, що надаються бібліотекою.

Бібліотека надає ряд готових моделей NLP та NLU, придатних для розбору залежностей між мовними конструкціями, визначення смислових примітивів та маркування слотів, застосування мереж пам'яті (Memory Networks) для побудови діалогів, застосування мереж ключ/значення (Key-value Network) для організації взаємодії у формі питання/відповідь, використання моделі векторів для розміщення слів, позначка частин мови, проведення семантичної сегментації словосполучень, розпізнавання іменованих сутностей (відомих назв, імен, об'єктів), виділення термінів, визначення смислової інформації (розпізнавання сенсу прочитаного) та розбиття тексту на структурні елементи.

До складу NLP Architect входять такі компоненти:

• Набір базових моделей NLP для обробки інформації природною мовою (наприклад, можуть застосовуватися для визначення частин мови та виділення ланцюжків зв'язку між словами);
• Модулі NLU для розпізнавання змісту інформації природною мовою (наприклад, для вилучення змістових одиниць та виділення термінів);
• Модулі для семантичного розбору (наприклад, для визначення словосполучень та найбільш значущих слів);
• Компоненти для створення діалогових систем з елементами інтуїтивного інтелекту, таких як чат-боти;
• Шаблони для побудови готових сервісів та приклади додатків з реалізацією відповідальних на запитання автоінформаторів, систем машинного читання та інтерфейсів для візуалізації взаємозв'язку між словами.

Інші новини