+38/050/370-3627
+38/093/220-0872
+38/044/257-2444
Новини

Facebook відкрила вихідний код PyText, бібліотеки для обробки усного та письмового мовлення

Facebook відкрила вихідний код PyText, бібліотеки для обробки усного та письмового мовлення

Facebook відкрила код PyText, бібліотеки для обробки природного мовлення

NLP-бібліотека (Natural Language Processing — обробка природного мовлення) використовується в нейросетах для обробки письмового та усного мовлення. За словами розробників, інструмент корисний для класифікації документів, розмітки мовних послідовностей, семантичного аналізу та багатозадачного моделювання.

Структура бібліотеки дозволяє легко перейти від розробки NLP-системи до практичного застосування. Інженери компанії стверджують, що з використанням PyText реалізація моделі нейромережі, що розпізнає людську мову, займе лише кілька днів.

Особливості бібліотеки PyText

  • PyText заснована на PyTorch, фреймворку з розвиненою екосистемою, тому моделі, створені за допомогою NLP-бібліотеки, легко публікувати.
  • До складу інструменту входить кілька уже готових моделей. Структура PyText дозволяє модифікувати їх з невеликими трудовитратами, що спрощує розробку.
  • Розробники включили в бібліотеку спеціальні моделі, які використовують контекст мови для кращого розпізнавання суті висловлювань. Вони протестовані на датасетах за допомогою інструменту M Suggestions (одна з функцій помічника) у Facebook Messenger.
  • PyText може проводити розподілене навчання, а також працювати з кількома моделями одночасно.
  • Інтеграція з фреймворком PyTorch дозволяє бібліотеці конвертувати моделі в ONNX і використовувати двигун Caffe2 для їхнього експорту.
  • Масштабування власних моделей в PyTorch обмежено через ліміт багатопоточності принципу Global Interpreter Lock в Python.
  • Експортовані моделі дозволяють використовувати можливості C++ для підвищення продуктивності.

Компанія вже застосовує PyText на практиці. За словами розробників, створені за допомогою моделі щодня роблять більше мільярда прогнозів на Facebook. Відкриття вихідного коду та вільна ліцензія повинні залучити до досконалення інструменту незалежних фахівців. При цьому інженери компанії не усуваються від подальшої розробки системи. Вони мають намір сконцентрувати зусилля на використанні її можливостей у сфері мобільних пристроїв.

Вихідний код інструменту розміщений в репозиторії GitHub. Ліжка в основі NLP-бібліотеки стабільна версія фреймворку PyTorch 1.0 вийшла в грудні 2018 року.

Інші новини

Найкраща ціна