Служба "Машинне навчання Microsoft Azure" - це повнофункціональне інтегроване рішення для розширеної аналітики, обробки та аналізу даних. Воно дозволяє фахівцям з обробки та аналізу даних готувати дані, розробляти експерименти та розгортати моделі в масштабах хмари.

Нижче наведено основні компоненти Машинного навчання Azure:

• Azure Machine Learning Workbench;
• служба "Експериментування в Машинному навчанні Azure";
• служба Azure "Управління моделями машинного навчання";
• бібліотеки служби "Машинне навчання Microsoft Azure" для Apache Spark (бібліотека MMLSpark);
• засоби Visual Studio Code для штучного інтелекту.

Разом ці програми та служби допоможуть значно прискорити розробку та розгортання проекту з обробки та аналізу даних.

Сумісність з відкритим вихідним кодомOpen source compatible

Служба "Машинне навчання Microsoft Azure" повністю підтримує технології з відкритим вихідним кодом. Azure Machine Learning fully supports open source technologies. Ви можете застосовувати десятки тисяч пакетів Python з відкритим вихідним кодом, у тому числі наступні платформи машинного навчання: Ви можете використовувати десятки тисяч людей з відкритим джерелом пакетів Python, таким чином, щоб виконати технічні знання:

• scikit-learn; scikit-learn
• TensorFlow; TensorFlow
• Microsoft Cognitive Toolkit Microsoft Cognitive Toolkit
• Spark ML. Spark ML

Ви можете виконувати експерименти в керованих середовищах, наприклад в контейнерах Docker і кластерах Spark. Також ви можете прискорити виконання додатків за допомогою додаткового обладнання, наприклад віртуальних машин Azure з підтримкою графічного процесора.

Служба "Машинне навчання Microsoft Azure" розроблена на базі наступних технологій з відкритим кодом:

• Записник Jupyter Jupyter Notebook
• Apache Spark Apache Spark
• Docker Docker
• Kubernetes Kubernetes
• Python Python
• Conda. Conda

Сюди також входять технології корпорації Майкрософт з відкритим кодом, наприклад бібліотека служби "Машинне навчання Microsoft Azure" для Apache Spark і Cognitive Toolkit. Library for Apache Spark and Cognitive Toolkit.

Крім того, до ваших послуг низка передових і перевірених технологій машинного навчання, розроблених корпорацією Майкрософт для вирішення масштабних проблем. до solve on large-scale problems. Технології перевірені в роботі з багатьма продуктами корпорації Майкрософт, такими як:

• Windows Windows
• Bing;Bing 
• Xbox;Xbox
• Office;Office
• SQL Server;SQL Server

Нижче наведено деякі технології машинного навчання корпорації Майкрософт, включені до служби "Машинне навчання Microsoft Azure": Azure Machine Learning:

• PROSE (Program Synthesis using Examples);PROSE (PROgram Synthesis using Examples)
• microsoftml;microsoftml
• revoscalepy.revoscalepy

Azure Machine Learning Workbench;Azure Machine Learning Workbench

Azure Machine Learning Workbench — це класична програма з програмами командного рядка для ОС Windows і macOS. Ви можете керувати рішеннями на базі машинного навчання на всіх етапах циклу обробки та аналізу даних, таких як:

• прийом та підготовка даних;Data ingestion and preparation
• розробка моделі та управління експериментами;Model development and experiment management
• розгортання моделі в різних цільових середовищах.Model deployment in various target environments

Нижче вказано основні функціональні можливості Azure Machine Learning Workbench:

• Засіб підготовки даних, який на прикладах вивчає логіку перетворення даних.
• Абстракція джерела даних, яка доступна при використанні інтерфейсу користувача та коду Python.Data source abstraction accessible through UX and Python code.
• Пакет SDK для Python, який дозволяє викликати візуально побудовані пакети підготовки даних.
• Вбудована служба Jupyter Notebook та клієнтський інтерфейс.Built-in Jupyter Notebook service and client UX.
• Подання журналу виконання для моніторингу експериментів та управління ними.Experiment monitoring and management through run history views.
• Управління доступом на основі ролей для спільної роботи з використанням Azure Active Directory.
• Автоматичне збереження миттєвих знімків проекту при кожному запуску і явне керування версіями завдяки власній інтеграції з Git.
• Інтеграція з популярними середовищами IDE Python.Integration with popular Python IDEs.

Додаткові відомості див. у наступних статтях:For more information, reference the following articles:

• Data Preparation User Guide (Посібник користувача з підготовки даних);Data Preparation User Guide
• Використання Git зі службою "Машинне навчання Microsoft Azure";Using Git with Azure Machine Learning
• Використання Jupyter Notebook із службою "Машинне навчання Microsoft Azure";Using Jupyter Notebook in Azure Machine Learning
• Роумінг та спільне використання;Roaming and Sharing
• Посібник з журналу виконання;Run History Guide
• Інтеграція з IDE.IDE Integration

Служба "Експериментування в Машинному навчанні Azure"Azure Machine Learning Experimentation Service

Служба "Експериментування" обробляє експерименти машинного навчання. Також вона надає Workbench функції управління проектами, інтеграції з Git, керування доступом, роумінгу та спільного доступу.

Просте налаштування дозволяє виконувати експерименти в різних обчислювальних середовищах: Through easy configuration, you can execute your experiments across a range of compute environment options:

• локальний машинний код;Local native
• контейнер Docker;Local Docker container
• контейнер Docker на віддаленій віртуальній машині;Docker container on a remote VM
• масштабований кластер Spark в Azure.Scale out Spark cluster in Azure

Служба "Експериментування" створює віртуальні середовища для ізольованого виконання скрипту з відтворюваністю результатів. executed in isolation with reproducible results. Вона записує відомості в журнал виконання і забезпечує їхнє візуальне відображення. Ви можете легко вибрати найкращу модель на основі даних декількох запусків експерименту.

Додаткові відомості див. у статті Налаштування служби "Експериментування в Машинному навчанні Azure".For more information, please reference Experimentation Service Configuration.

Служба Azure "Керування моделями машинного навчання"Azure Machine Learning Model Management Service

Служба "Управління моделями" дозволяє фахівцям з обробки та аналізу даних та командам розробки розгортати моделі прогнозування в найрізноманітніших середовищах. dev-ops teams до deploy predictive models в wide variety of environments. Версії моделей та журнали звернень та перетворень відстежуються протягом усього періоду — від навчальних запусків до розгортання. Зберігання та реєстрація моделей, а також керування ними виконуються в хмарі. Models are stored, registered, and managed in the cloud.

За допомогою простих команд CLI ви можете упаковати модель, скрипти з оцінки та залежності в образи Docker в контейнері. Ці образи реєструються у ваших реєстрах Docker, розміщених в Azure (реєстр контейнерів Azure). Ви можете виконувати їх надійне розгортання з використанням наступних цільових об'єктів:They can be reliably deployed to the following targets:

• локальні комп'ютери;Local machines
• Локальні сервериOn-premises servers
• хмара;The cloud
• прикордонні пристрої Інтернету речей.IoT edge devices

Для розгортання масштабованої хмари використовується Kubernetes, запущений у Службі контейнерів Azure (ACS). Дані телеметрії для виконання моделі збираються в AppInsights для візуального аналізу.

Додаткові відомості ви знайдете в оглядовій статті про службу "Управління моделями".

Бібліотека служби "Машинне навчання Microsoft Azure" для Apache SparkMicrosoft Machine Learning Library for Apache Spark

MMLSpark (бібліотека служби "Машинне навчання Microsoft Azure") - це пакет Spark з відкритим кодом, який надає засоби глибокого навчання, обробки та аналізу даних для Apache Spark. -source Spark package, що забезпечує глибоке освітлення і наукові освітні інструменти для Apache Spark. Він поєднує в собі конвеєри машинного навчання Spark і бібліотеки Microsoft Cognitive Toolkit і OpenCV. Пакет дозволяє швидко створювати потужні і високомасштабовані прогнозні та аналітичні моделі для великих наборів зображень і тексту. і аналітичні моделі для великого зображення і тексту datasets. Деякі особливості:Some highlights include:

• проста передача зображень з HDFS до структури Spark DataFrame;
• попередня обробка зображень за допомогою перетворення з бібліотеки OpenCV;Pre-process image data using transforms from OpenCV
• присвоєння зображенням ознак за допомогою попередньо навчених глибоких нейронних мереж і засобів Microsoft Cognitive Toolkit;
• використання попередньо вивчених двонаправлених LSTM з Keras для вилучення даних медичних закладів;
• навчання моделей класифікації зображень на основі DNN на віртуальних машинах Azure серії N з підтримкою GPU;
• присвоєння ознак даним у вільній текстовій формі за допомогою зручних API-інтерфейсів на основі примітивів SparkML через єдиний перетворювач;
• зручне навчання моделей класифікації та регресії за допомогою неявного присвоєння ознак даним;
• обчислення широкого набору метрик оцінки, включаючи метрики для кожного екземпляра.Compute a rich set of evaluation metrics including per-instance metrics

Додаткові відомості можна знайти у статті про використання MMLSpark у службі "Машинне навчання Microsoft Azure".For more information, reference За допомогою MMLSpark in Azure Machine Learning.

Кошти Visual Studio Code для штучного інтелектуVisual Studio Code Tools for AI

Засоби Visual Studio Code для штучного інтелекту — це розширення Visual Studio Code для створення, тестування та розгортання рішень з використанням глибокого навчання та штучного інтелекту. deploy Deep Learning and AI solutions. Вони підтримують багато точок інтеграції зі службою "Машинне навчання Microsoft Azure", включаючи:It features many integration points with Azure Machine Learning, including:

• перегляд журналу виконання, де відображаються дані продуктивності навчальних запусків і зібрані метрики;
• подання колекції, в якій користувачі можуть виконувати перегляд і початкове завантаження нових проектів з використанням Microsoft Cognitive Toolkit, TensorFlow і багатьох інших платформ глибокого навчання;A gallery view -learning frameworks.
• подання провідника для вибору цільових об'єктів обчислення, на яких будуть виконуватися скрипти.

Які можливості машинного навчання надає корпорація Майкрософт?What are the machine learning options from Microsoft?

У Azure, крім служби "Машинне навчання Microsoft Azure", є багато інших можливостей для побудови та розгортання моделей машинного навчання, а також управління ними.Besides Azure Machine Розвиток, є величезна кількість варіантів в Azure для будівництва, розробки, і управління технікою навчання моделей.

• Служби машинного навчання Майкрософт у SQL Server.Microsoft Machine Learning Services in SQL Server
• Сервер машинного навчання Майкрософт.Microsoft Machine Learning Server
• Віртуальна машина для обробки та аналізу даних.Data Science Virtual Machine
• Бібліотека MLLib для Spark у HDInsight.Spark MLLib in HDInsight
• Пакетна служба навчання штучного інтелекту. Batch AI Training Service
• Microsoft Cognitive Toolkit.Microsoft Cognitive Toolkit
• Microsoft Cognitive Services.Microsoft Cognitive Services

Служби машинного навчання Майкрософт у SQL ServerMicrosoft Machine Learning Services in SQL Server

Служби машинного навчання Майкрософт дозволяють запускати, навчати та розгортати моделі машинного навчання за допомогою R або Python. Ви можете використовувати для них дані, розміщені в локальній базі даних або в SQL Server.

Служби машинного навчання Майкрософт зручно використовувати, коли моделі потрібно навчати або розгортати локально або в Microsoft SQL Server. Для розгортання моделей, побудованих за допомогою служб машинного навчання, можна застосувати службу "Управління моделями Машинного навчання".

Сервер машинного навчання Майкрософт.Microsoft Machine Learning Server

Сервер машинного навчання Майкрософт є корпоративним сервером для розміщення паралельних і розподілених робочих навантажень, створюваних процесами R і Python, та управління ними. . Сервер машинного навчання Майкрософт виконується в Apache Spark, Hadoop, Linux або Windows. Також він доступний в HDInsight.It is also available on HDInsight. Він надає механізм виконання для рішень, створених за допомогою пакетів машинного навчання Майкрософт, і дозволяє сценаріям R і Python з відкритим кодом працювати в наступних областях: extends open source R і Python з підтримкою для наступних сценаріїв:

• високопродуктивна аналітика;high-performance analytics
• статистичний аналіз;statistical analysis
• машинне навчання;machine learning
• дуже великі набори даних.massively large datasets

Додаткові функції надаються у приватних пакетах, які встановлюються разом із сервером.Value-added functionality is provided through proprietary packages that install with the server. Для розробки ви можете використовувати інтегровані середовища, наприклад засоби R для Visual Studio і засоби Python для Visual Studio.

Сервер машинного навчання Майкрософт корисний для наступних дій:Use Microsoft Machine Learning Server when you need to:

• побудова та розгортання моделей, створених на сервері за допомогою R та Python;Build and deploy models built with R and Python on a server
• масштабне поширення систем навчання на Python і R в кластері Hadoop або Spark.

Віртуальна машина для обробки та аналізу данихData Science Virtual Machine

Віртуальна машина для аналізу та обробки даних — це образ віртуальної машини в хмарі Microsoft Azure, спеціально створений і налаштований для обробки та аналізу даних. doing data science. У ній попередньо встановлено та налаштовано безліч популярних засобів для аналізу та обробки даних, а також інших засобів, що дозволяють швидко приступити до створення інтелектуальних додатків для розширеної аналітики. Вона доступна на платформах Windows Server та Linux.It is available on Windows Server and on Linux. Версія DSVM для операційних систем Windows працює в Windows Server 2016 та Windows Server 2012.We offer Windows edition of DSVM on Server 2016 and Server 2012. Версія DSVM для Linux пропонується в Ubuntu 16.04 LTS та в дистрибутивах Linux на базі OpenLogic 7.2 Cent. Linux edition of the DSVM on Ubuntu 16.04 LTS and on OpenLogic 7.2 CentOS-based Linux distributions.

Віртуальна машина для обробки та аналізу даних зручна, якщо потрібно виконувати або розміщувати завдання на одному вузлі.Use the Data Science Your jobs on a single node. Також з її допомогою можна віддалено збільшувати масштаб для обробки на одному комп'ютері. Віртуальна машина для обробки та аналізу даних може виступати в ролі цільового об'єкта для служб "Експериментування в Машинному навчанні Azure" та "Управління моделями Машинного навчання". Model Management.

Бібліотека MLLib для Spark у HDInsightSpark MLLib in HDInsight

MLLib для Spark в HDInsight дозволяє створювати моделі у складі завдань Spark, при виконанні яких використовуються великі дані. Spark дозволяє легко перетворити і підготувати дані, а потім розгорнути створення моделі в одному завданні. Для моделей, створених за допомогою Spark MLLib, можна виконувати розгортання, керування та моніторинг за допомогою служби Azure "Управління моделями Машинного навчання". Навчальні запуски можна призначати та контролювати за допомогою служби "Експериментування в Машинному навчанні Azure". Також Spark можна використовувати для розгортання завдання підготовки даних, створеного в Azure Machine Learning Workbench.

Використовуйте Spark, якщо вам потрібно розгорнути обробку даних і створювати моделі в складі конвеєра даних. Завдання Spark можна створювати на Scala, Java, Python або R. You can author Spark jobs in Scala, Java, Python, або R.

Пакетне навчання штучного інтелектуBatch AI Training

Пакетне навчання штучного інтелекту Azure допомагає експериментувати з моделями штучного інтелекту на будь-якій платформі і масово навчає їх, використовуючи кластер графічних процесорів. clustered GPUs. Вам потрібно лише описати вимоги до завдання та конфігурацію для запуску, а ми зробимо все інше. Describe your job and we handle the rest.

Пакетне навчання штучного інтелекту дозволяє розгорнути завдання глибокого навчання в кластері графічних процесорів, використовуючи будь-яку з наступних платформ:Batch AI.

• Cognitive Toolkit;Cognitive Toolkit
• CaffeCaffe
• ChainerChainer
• TensorFlowTensorFlow

Служба Azure "Управління моделями Машинного навчання" дозволяє вилучити моделі з пакетного навчання штучного інтелекту, а також виконувати для них розгортання, керування та моніторинг. , and monitor them. Пакетне навчання штучного інтелекту згодом буде інтегровано зі службою "Експериментування у Машинному" навчанні Azure.

Microsoft Cognitive ToolkitMicrosoft Cognitive Toolkit

Microsoft Cognitive Toolkit — це єдиний набір засобів глибокого навчання, в якому нейронні мережі розглядаються як обчислювальні етапи в спрямованому графі. У цьому спрямованому графі кожен кінцевий вузол представляє вхідні значення або параметри мережі, а інші вузли описують матрицю операцій з вхідними даними. Cognitive Toolkit дозволяє легко створювати та об'єднувати моделі поширених типів, наприклад прямі DNN, надточні мережі (CNN) і повторювані мережі (RNN/LSTM). ). У наборі реалізовано навчання з ймовірнісним градієнтним спуском (SGD, зворотне поширення помилки), а також підтримкою автоматичної спеціалізації та паралелізму на кількох графічних процесорах і серверах.It implements and servers.

Набір Cognitive Toolkit зручний, якщо ви розробляєте модель на основі глибокого навчання. Його можна використовувати в будь-якій з описаних вище служб. of the preceding services.

Microsoft Cognitive ServicesMicrosoft Cognitive Services

Microsoft Cognitive Services — це набір з 30 інтерфейсів API для створення додатків, які використовують природні методи взаємодії. Ці інтерфейси API дозволяють всього в декількох рядках коду реалізувати для додатка можливість бачити, чути, говорити, розуміти і вгадувати бажання людини. . Ви зможете легко додавати до програм інтелектуальні функції, такі як: Easily add intelligent features to your apps, such as:

• визначення емоцій та тональності;Emotion and sentiment detection
• розпізнавання мови та візуальних об'єктів;Vision and speech recognition
• розуміння мови;Language understanding
• придбання знань та пошук.Knowledge and search

Microsoft Cognitive Services можна використовувати для розробки програм на різних пристроях і платформах. Ці API-інтерфейси постійно вдосконалюються і дуже просто налаштовуються.

Інші новини