Служба "Машинное обучение Microsoft Azure" — это полнофункциональное интегрированное решение для расширенной аналитики, обработки и анализа данных. Оно позволяет специалистам по обработке и анализу данных подготавливать данные, разрабатывать эксперименты и развертывать модели в масштабах облака.

Ниже перечислены основные компоненты Машинного обучения Azure:

• Azure Machine Learning Workbench;
• служба "Экспериментирование в Машинном обучении Azure";
• служба Azure "Управление моделями Машинного обучения";
• библиотеки службы "Машинное обучение Microsoft Azure" для Apache Spark (библиотека MMLSpark);
• средства Visual Studio Code для искусственного интеллекта.

Вместе эти приложения и службы помогут значительно ускорить разработку и развертывание проекта по обработке и анализу данных.

Совместимость с открытым исходным кодомOpen source compatible

Служба "Машинное обучение Microsoft Azure" полностью поддерживает технологии с открытым исходным кодом. Azure Machine Learning fully supports open source technologies. Вы можете применять десятки тысяч пакетов Python с открытым исходным кодом, в том числе следующие платформы машинного обучения: You can use tens of thousands of open source Python packages, such as the following machine learning frameworks:

• scikit-learn; scikit-learn
• TensorFlow; TensorFlow
• Microsoft Cognitive Toolkit Microsoft Cognitive Toolkit
• Spark ML. Spark ML

Вы можете выполнять эксперименты в управляемых средах, например в контейнерах Docker и кластерах Spark.You can execute your experiments in managed environments such as Docker containers and Spark clusters. Также вы можете ускорить выполнение приложений с помощью дополнительного оборудования, например виртуальных машин Azure с поддержкой графического процессора.You can also use advanced hardware such as GPU-enabled virtual machines in Azure to accelerate your execution.

Служба "Машинное обучение Microsoft Azure" разработана на базе следующих технологий с открытым кодом:Azure Machine Learning is built on top of the following open source technologies:

• Записная книжка Jupyter Jupyter Notebook
• Apache Spark Apache Spark
• Docker Docker
• Kubernetes Kubernetes
• Python Python
• Conda. Conda

Сюда также входят технологии корпорации Майкрософт с открытым кодом, например библиотека службы "Машинное обучение Microsoft Azure" для Apache Spark и Cognitive Toolkit.It also includes Microsoft's own open source technologies, such as Microsoft Machine Learning Library for Apache Spark and Cognitive Toolkit.

Кроме того, к вашим услугам ряд передовых и проверенных технологий машинного обучения, разработанных корпорацией Майкрософт для решения масштабных проблем.In addition, you also benefit from some of the most advanced, tried-and-true machine learning technologies developed by Microsoft designed to solve on large-scale problems. Технологии проверены в работе с многими продуктами корпорации Майкрософт, такими как:They are battle-tested in many Microsoft products, such as:

• Windows Windows
• Bing;Bing 
• Xbox;Xbox
• Office;Office
• SQL Server;SQL Server

Ниже перечислены некоторые технологии машинного обучения корпорации Майкрософт, включенные в службу "Машинное обучение Microsoft Azure":The following are some of the Microsoft machine learning technologies included with Azure Machine Learning:

• PROSE (Program Synthesis using Examples);PROSE (PROgram Synthesis using Examples)
• microsoftml;microsoftml
• revoscalepy.revoscalepy

Azure Machine Learning Workbench;Azure Machine Learning Workbench

Azure Machine Learning Workbench — это классическое приложение с программами командной строки для ОС Windows и macOS.Azure Machine Learning Workbench is a desktop application plus command-line tools, supported on both Windows and macOS. Вы сможете управлять решениями на базе машинного обучения на всех этапах цикла обработки и анализа данных, таких как:It allows you to manage machine learning solutions through the entire data science life cycle:

• прием и подготовка данных;Data ingestion and preparation
• разработка модели и управление экспериментами;Model development and experiment management
• развертывание модели в разных целевых средах.Model deployment in various target environments

Ниже указаны основные функциональные возможности Azure Machine Learning Workbench:Here are the core functionalities offered by Azure Machine Learning Workbench:

• Средство подготовки данных, которое на примерах изучает логику преобразования данных.Data preparation tool that can learn data transformation logic by example.
• Абстракция источника данных, которая доступна при использовании пользовательского интерфейса и кода Python.Data source abstraction accessible through UX and Python code.
• Пакет SDK для Python, который позволяет вызывать визуально построенные пакеты подготовки данных.Python SDK for invoking visually constructed data preparation packages.
• Встроенная служба Jupyter Notebook и клиентский интерфейс.Built-in Jupyter Notebook service and client UX.
• Представления журнала выполнения для мониторинга экспериментов и управления ими.Experiment monitoring and management through run history views.
• Управление доступом на основе ролей для совместной работы с использованием Azure Active Directory.Role-based access control that enables sharing and collaboration through Azure Active Directory.
• Автоматическое сохранение моментальных снимков проекта при каждом запуске и явное управление версиями благодаря собственной интеграции с Git.Automatic project snapshots for each run, and explicit version control enabled by native Git integration.
• Интеграция с популярными средами IDE Python.Integration with popular Python IDEs.

Дополнительные сведения см. в следующих статьях:For more information, reference the following articles:

• Data Preparation User Guide (Руководство пользователя по подготовке данных);Data Preparation User Guide
• Использование Git со службой "Машинное обучение Microsoft Azure";Using Git with Azure Machine Learning
• Использование Jupyter Notebook со службой "Машинное обучение Microsoft Azure";Using Jupyter Notebook in Azure Machine Learning
• Роуминг и совместное использование;Roaming and Sharing
• Руководство по журналу выполнения;Run History Guide
• Интеграция с IDE.IDE Integration

Служба "Экспериментирование в Машинном обучении Azure"Azure Machine Learning Experimentation Service

Служба "Экспериментирование" обрабатывает эксперименты машинного обучения.The Experimentation Service handles the execution of machine learning experiments. Также она предоставляет Workbench функции управления проектами, интеграции с Git, управления доступом, роуминга и совместного доступа.It also supports the Workbench by providing project management, Git integration, access control, roaming, and sharing.

Простая настройка позволяет выполнять эксперименты в разных вычислительных средах:Through easy configuration, you can execute your experiments across a range of compute environment options:

• локальный машинный код;Local native
• контейнер Docker;Local Docker container
• контейнер Docker на удаленной виртуальной машине;Docker container on a remote VM
• масштабируемый кластер Spark в Azure.Scale out Spark cluster in Azure

Служба "Экспериментирование" создает виртуальные среды для изолированного выполнения скрипта с воспроизводимостью результатов.The Experimentation Service constructs virtual environments to ensure that your script can be executed in isolation with reproducible results. Она записывает сведения в журнал выполнения и обеспечивает их визуальное отображение.It records run history information and presents the history to you visually. Вы можете без труда выбрать лучшую модель на основе данных нескольких запусков эксперимента.You can easily select the best model out of your experiment runs.

Дополнительные сведения см. в статье Настройка службы "Экспериментирование в Машинном обучении Azure".For more information, please reference Experimentation Service Configuration.

Служба Azure "Управление моделями Машинного обучения"Azure Machine Learning Model Management Service

Служба "Управление моделями" позволяет специалистам по обработке и анализу данных и командам разработки развертывать модели прогнозирования в самых разнообразных средах.Model Management Service allows data scientists and dev-ops teams to deploy predictive models into a wide variety of environments. Версии моделей и журналы обращений и преобразований отслеживаются на протяжении всего периода — от учебных запусков до развертывания.Model versions and lineage are tracked from training runs to deployments. Хранение и регистрация моделей, а также управление ими выполняются в облаке.Models are stored, registered, and managed in the cloud.

С помощью простых команд CLI вы можете упаковать модель, скрипты по оценке и зависимости в образы Docker в контейнере.Using simple CLI commands, you can containerize your model, scoring scripts and dependencies into Docker images. Эти образы регистрируются в ваших реестрах Docker, размещенных в Azure (реестр контейнеров Azure).These images are registered in your own Docker registry hosted in Azure (Azure Container Registry). Вы можете выполнять их надежное развертывание с использованием следующих целевых объектов:They can be reliably deployed to the following targets:

• локальные компьютеры;Local machines
• Локальные серверыOn-premises servers
• облако;The cloud
• пограничные устройства Интернета вещей.IoT edge devices

Для развертывания масштабируемого облака используется Kubernetes, запущенный в Службе контейнеров Azure (ACS).Kubernetes running in the Azure Container Service (ACS) is used for cloud scale-out deployment. Данные телеметрии для выполнения модели собираются в AppInsights для визуального анализа.Model execution telemetry is captured in AppInsights for visual analysis.

Дополнительные сведения вы найдете в обзорной статье о службе "Управление моделями".For more information on Model Management Service, reference Model Management Overview

Библиотека службы "Машинное обучение Microsoft Azure" для Apache SparkMicrosoft Machine Learning Library for Apache Spark

MMLSpark (библиотека службы "Машинное обучение Microsoft Azure") — это пакет Spark с открытым кодом, который предоставляет средства глубокого обучения, обработки и анализа данных для Apache Spark.The MMLSpark(Microsoft Machine Learning Library for Apache Spark) is an open-source Spark package that provides deep learning and data science tools for Apache Spark. Он сочетает в себе конвейеры машинного обучения Spark и библиотеки Microsoft Cognitive Toolkit и OpenCV.It integrates Spark Machine Learning Pipelines with the Microsoft Cognitive Toolkit and OpenCV library. Пакет позволяет быстро создавать мощные и высокомасштабируемые прогнозные и аналитические модели для больших наборов изображений и текста.It enables you to quickly create powerful, highly scalable predictive, and analytical models for large image and text datasets. Некоторые особенности:Some highlights include:

• простая передача изображений из HDFS в структуру Spark DataFrame;Easily ingest images from HDFS into Spark DataFrame
• предварительная обработка изображений с помощью преобразований из библиотеки OpenCV;Pre-process image data using transforms from OpenCV
• присвоение изображениям признаков с помощью предварительно обученных глубоких нейронных сетей и средств Microsoft Cognitive Toolkit;Featurize images using pre-trained deep neural nets using the Microsoft Cognitive Toolkit
• использование предварительно обученных двунаправленных LSTM из Keras для извлечения данных медицинских учреждений;Use pre-trained bidirectional LSTMs from Keras for medical entity extraction
• обучение моделей классификации изображений на основе DNN на виртуальных машинах Azure серии N с поддержкой GPU;Train DNN-based image classification models on N-Series GPU VMs on Azure
• присвоение признаков данным в свободной текстовой форме с помощью удобных API-интерфейсов на основе примитивов SparkML через единый преобразователь;Featurize free-form text data using convenient APIs on top of primitives in SparkML via a single transformer
• удобное обучение моделей классификации и регрессии при помощи неявного присвоения признаков данным;Train classification and regression models easily via implicit featurization of data
• вычисление широкого набора метрик оценки, включая метрики для каждого экземпляра.Compute a rich set of evaluation metrics including per-instance metrics

Дополнительные сведения можно найти в статье об использовании MMLSpark в службе "Машинное обучение Microsoft Azure".For more information, reference Using MMLSpark in Azure Machine Learning.

Средства Visual Studio Code для искусственного интеллектаVisual Studio Code Tools for AI

Средства Visual Studio Code для искусственного интеллекта — это расширение Visual Studio Code для создания, тестирования и развертывания решений с использованием глубокого обучения и искусственного интеллекта.Visual Studio Code Tools for AI is an extension in Visual Studio Code to build, test, and deploy Deep Learning and AI solutions. Они поддерживают много точек интеграции со службой "Машинное обучение Microsoft Azure", включая:It features many integration points with Azure Machine Learning, including:

• просмотр журнала выполнения, где отображаются данные производительности учебных запусков и собранные метрики;A run history view displaying the performance of training runs and logged metrics.
• представление коллекции, в котором пользователи могут выполнять просмотр и начальную загрузку новых проектов с использованием Microsoft Cognitive Toolkit, TensorFlow и многих других платформ глубокого обучения;A gallery view allowing users to browse and bootstrap new projects with the Microsoft Cognitive Toolkit, TensorFlow, and many other deep-learning frameworks.
• представление проводника для выбора целевых объектов вычисления, на которых будут выполняться скрипты.An explorer view for selecting compute targets for your scripts to execute.

Какие возможности для машинного обучения предоставляет корпорация Майкрософт?What are the machine learning options from Microsoft?

В Azure, помимо службы "Машинное обучение Microsoft Azure", есть много других возможностей для построения и развертывания моделей машинного обучения, а также управления ими.Besides Azure Machine Learning, there are a wide variety of options in Azure to build, deploy, and manage machine learning models.

• Службы машинного обучения Майкрософт в SQL Server.Microsoft Machine Learning Services in SQL Server
• Сервер машинного обучения Майкрософт.Microsoft Machine Learning Server
• Виртуальная машина для обработки и анализа данных.Data Science Virtual Machine
• Библиотека MLLib для Spark в HDInsight.Spark MLLib in HDInsight
• Пакетная служба обучения искусственного интеллекта.Batch AI Training Service
• Microsoft Cognitive Toolkit.Microsoft Cognitive Toolkit
• Microsoft Cognitive Services.Microsoft Cognitive Services

Службы машинного обучения Майкрософт в SQL ServerMicrosoft Machine Learning Services in SQL Server

Службы машинного обучения Майкрософт позволяют запускать, обучать и развертывать модели машинного обучения с помощью R или Python.Microsoft Machine Learning Services enables you to run, train, and deploy machine learning models using R or Python. Вы можете использовать для них данные, размещенные в локальной базе данных или в SQL Server.You can use data located on-premises and in SQL Server databases.

Службы машинного обучения Майкрософт удобно использовать, когда модели нужно обучать или развертывать локально или в Microsoft SQL Server.Use Microsoft Machine Learning Services when you need to train or deploy models on-premises, or inside of Microsoft SQL Server. Для развертывания моделей, построенных с помощью служб машинного обучения, можно применить службу "Управление моделями Машинного обучения".Models built with Machine Learning Services can be deployed using Azure Machine Learning Model Management.

Сервер машинного обучения Майкрософт.Microsoft Machine Learning Server

Сервер машинного обучения Майкрософт представляет собой корпоративный сервер для размещения параллельных и распределенных рабочих нагрузок, создаваемых процессами R и Python, и управления ими.Microsoft Machine Learning Server is an enterprise server for hosting and managing parallel and distributed workloads of R and Python processes. Сервер машинного обучения Майкрософт выполняется в Apache Spark, Hadoop, Linux или Windows.Microsoft Machine Learning Server runs on Linux, Windows, Hadoop, and Apache Spark. Также он доступен в HDInsight.It is also available on HDInsight. Он предоставляет механизм выполнения для решений, созданных с помощью пакетов машинного обучения Майкрософт, и позволяет сценариям R и Python с открытым кодом работать в следующих областях:It provides an execution engine for solutions built using Microsoft Machine Learning packages, and extends open source R and Python with support for the following scenarios:

• высокопроизводительная аналитика;high-performance analytics
• статистический анализ;statistical analysis
• машинное обучение;machine learning
• очень большие наборы данных.massively large datasets

Дополнительные функции предоставляются в частных пакетах, которые устанавливаются вместе с сервером.Value-added functionality is provided through proprietary packages that install with the server. Для разработки вы можете использовать интегрированные среды, например средства R для Visual Studio и средства Python для Visual Studio.For development, you can use IDEs such as R Tools for Visual Studio and Python Tools for Visual Studio.

Сервер машинного обучения Майкрософт полезен для следующих действий:Use Microsoft Machine Learning Server when you need to:

• построение и развертывание моделей, созданных на сервере с помощью R и Python;Build and deploy models built with R and Python on a server
• масштабное распространение систем обучения на Python и R в кластере Hadoop или Spark.Distribute R and Python training at scale on a Hadoop or Spark cluster

Виртуальная машина для обработки и анализа данныхData Science Virtual Machine

Виртуальная машина для анализа и обработки данных — это образ виртуальной машины в облаке Microsoft Azure, специально созданный и настроенный для обработки и анализа данных.The Data Science Virtual Machine (DSVM) is a customized VM image on Microsoft’s Azure cloud built specifically for doing data science. В ней предварительно установлено и настроено множество популярных средств для анализа и обработки данных, а также других средств, позволяющих быстро приступить к созданию интеллектуальных приложений для расширенной аналитики.It has many popular data science and other tools pre-installed and pre-configured to jump-start building intelligent applications for advanced analytics. Она доступна на платформах Windows Server и Linux.It is available on Windows Server and on Linux. Версия DSVM для операционных систем Windows работает в Windows Server 2016 и Windows Server 2012.We offer Windows edition of DSVM on Server 2016 and Server 2012. Версия DSVM для Linux предлагается в Ubuntu 16.04 LTS и в дистрибутивах Linux на базе OpenLogic 7.2 CentOS.We offer Linux edition of the DSVM on Ubuntu 16.04 LTS and on OpenLogic 7.2 CentOS-based Linux distributions.

Виртуальная машина для обработки и анализа данных удобна, если нужно выполнять или размещать задания на одном узле.Use the Data Science Virtual Machine when you need to run or host your jobs on a single node. Также с ее помощью можно удаленно увеличивать масштаб для обработки на одном компьютере.Or if you need to remotely scale up your processing on a single machine. Виртуальная машина для обработки и анализа данных может выступать в роли целевого объекта для служб "Экспериментирование в Машинном обучении Azure" и "Управление моделями Машинного обучения".The Data Science Virtual Machine is supported as a target for both Azure Machine Learning Experimentation and Azure Machine Learning Model Management.

Библиотека MLLib для Spark в HDInsightSpark MLLib in HDInsight

MLLib для Spark в HDInsight позволяет создавать модели в составе заданий Spark, при выполнении которых используются большие данные.Spark MLLib in HDInsight lets you create models as part of Spark jobs that are executing on big data. Spark позволяет без труда преобразовать и подготовить данные, а затем развернуть создание модели в одном задании.Spark lets you easily transform and prepare data and then scale out model creation in a single job. Для моделей, созданных с помощью Spark MLLib, можно выполнять развертывание, управление и мониторинг при помощи службы Azure "Управление моделями Машинного обучения".Models created through Spark MLLib can be deployed, managed, and monitored through Azure Machine Learning Model Management. Учебные запуски можно назначать и контролировать при помощи службы "Экспериментирование в Машинном обучении Azure".Training runs can be dispatched and managed with Azure Machine Learning Experimentation. Также Spark можно использовать для развертывания задания подготовки данных, созданного в Azure Machine Learning Workbench.Spark can also be used to scale out data preparation jobs created in the Machine Learning Workbench.

Используйте Spark, если вам нужно развернуть обработку данных и создавать модели в составе конвейера данных.Use Spark when you need to scale out your data processing and create models as part of a data pipeline. Задания Spark можно создавать на Scala, Java, Python или R.You can author Spark jobs in Scala, Java, Python, or R.

Пакетное обучение искусственного интеллектаBatch AI Training

Пакетное обучение искусственного интеллекта Azure помогает экспериментировать с моделями искусственного интеллекта на любой платформе и массово обучает их, используя кластер графических процессоров.Azure Batch AI Training helps you experiment in parallel with your AI models using any framework and then trains them at scale across clustered GPUs. Вам нужно лишь описать требования к заданию и конфигурацию для запуска, а мы сделаем все остальное.Describe your job requirements and configuration to run, and we handle the rest.

Пакетное обучение искусственного интеллекта позволяет развернуть задания глубокого обучения в кластере графических процессоров, используя любую из следующих платформ:Batch AI Training enables you to scale out deep learning jobs across clustered GPUs, using frameworks such as:

• Cognitive Toolkit;Cognitive Toolkit
• CaffeCaffe
• ChainerChainer
• TensorFlowTensorFlow

Служба Azure "Управление моделями Машинного обучения" позволяет извлечь модели из пакетного обучения искусственного интеллекта, а также выполнять для них развертывание, управление и мониторинг.Azure Machine Learning Model Management can be used to take models from Batch AI Training to deploy, manage, and monitor them. Пакетное обучение искусственного интеллекта впоследствии будет интегрировано со службой "Экспериментирование в Машинном обучении Azure".Batch AI Training will be integrated with Azure Machine Learning Experimentation in the future.

Microsoft Cognitive ToolkitMicrosoft Cognitive Toolkit

Microsoft Cognitive Toolkit — это единый набор средств глубокого обучения, в котором нейронные сети рассматриваются как вычислительные этапы в направленном графе.The Microsoft Cognitive Toolkit is a unified deep-learning toolkit that describes neural networks as computational steps in a directed graph. В этом направленном графе каждый конечный узел представляет входные значения или параметры сети, а остальные узлы описывают матрицу операций с входными данными.In this directed graph, leaf nodes represent input values or network parameters, while other nodes represent matrix operations upon their inputs. Cognitive Toolkit позволяет легко создавать и объединять модели распространенных типов, например прямые DNN, сверхточные сети (CNN) и повторяющиеся сети (RNN/LSTM).The Cognitive Toolkit allows you to easily realize and combine popular model types such as feed-forward DNNs, convolutional nets (CNNs), and recurrent networks (RNNs/LSTMs). В наборе реализовано обучение с вероятностным градиентным спуском (SGD, обратное распространение ошибки), а также поддержкой автоматической специализации и параллелизма на нескольких графических процессорах и серверах.It implements stochastic gradient descent (SGD, error backpropagation) learning with automatic differentiation and parallelization across multiple GPUs and servers.

Набор Cognitive Toolkit удобен, если вы разрабатываете модель на основе глубокого обучения.Use the Cognitive Toolkit when you want to build a model using deep learning. Его можно использоваться в любой из описанных выше служб.The Cognitive Toolkit can be used in any of the preceding services.

Microsoft Cognitive ServicesMicrosoft Cognitive Services

Microsoft Cognitive Services — это набор из 30 интерфейсов API для создания приложений, использующих естественные методы взаимодействия.Microsoft Cognitive Services is a set of 30 APIs that enable you build apps that use natural methods of communication. Эти интерфейсы API позволяют всего в нескольких строках кода реализовать для приложения возможность видеть, слышать, говорить, понимать и угадывать желания человека.These APIs allow your apps to see, hear, speak, understand, and interpret our needs with just a few lines of code. Вы сможете легко добавлять в приложения интеллектуальные функции, такие как:Easily add intelligent features to your apps, such as:

• определение эмоций и тональности;Emotion and sentiment detection
• распознавание речи и визуальных объектов;Vision and speech recognition
• понимание языка;Language understanding
• приобретение знаний и поиск.Knowledge and search

Microsoft Cognitive Services можно использовать для разработки приложений на разных устройствах и платформах.Microsoft Cognitive Services can be used to develop apps across devices and platforms. Эти API-интерфейсы постоянно совершенствуются и очень просто настраиваются.The APIs keep improving, and are easy to set up.

Другие новости