Microsoft представила решения, которые помогут разработчикам создавать мультисенсорные, объединяющие несколько устройств интерфейсы на базе ИИ, а также новую инициативу AI for Accessibility, в которую компания инвестирует 25 миллионов долларов США.

На ежегодной конференции Build для разработчиков Microsoft продемонстрировала новые технологии, которые помогут создавать ИИ-решения на Microsoft Azure, Microsoft 365 и любой другой платформе.

«Приближается эра ”умного” облака и “умных” устройств, – говорит Сатья Наделла, CEO Microsoft. – Эти инновационные решения предоставляют невероятные возможности разработчикам для того, чтобы технологии были надежными и приносили пользу всем».

Искусственный интеллект для людей с ограниченными возможностями

Microsoft анонсировала новую пятилетнюю программу AI for Accessibility, в которую компания инвестирует 25 миллионов долларов США. Целью программы является использование ИИ на благо людей с ограниченными возможностями, которых в мире более одного миллиарда. Программа включает в себя гранты, инвестиции в технологии и экспертную поддержку, а также внедрение инноваций AI for Accessibility в облачные сервисы Microsoft. Основой проекта стала успешная инициатива AI for Earth (искусственный интеллект для Земли).

Развитие «умного» облака и «умных» устройств

«Умные» устройства завоевывают все большую популярность у частных пользователей и компаний по всему миру. Ожидается, что к 2020 году в мире будет более 20 миллиардов таких устройств. Они настолько прогрессивны, что могут «видеть», «слышать», анализировать и прогнозировать без постоянного подключения к облаку. «Умные» устройства открывают новые возможности для пользователей, предприятий и целых отраслей.

• Microsoft делает Azure IoT Edge Runtime средой с открытым кодом, позволяя пользователям модифицировать, настраивать приложения для «умных» устройств.
• Custom Vision теперь будет работать на Azure IoT Edge, позволяя таким устройствам, как дроны и промышленное оборудование, быстро выполнять критически важные действия без необходимости соединения с облаком. Это первый из сервисов Azure Cognitive Services, поддерживающий работу на «умных» устройствах. Также в ближайшие месяцы в Azure IoT Edge появится еще больше сервисов.
• DJI, крупнейший в мире производитель дронов, начинает сотрудничество с Microsoft и будет создавать новый комплект средств разработки (SDK) для ПК с Windows 10. Компания также выбрала Azure в качестве приоритетного облачного провайдера для дальнейшей разработки решений для коммерческих дронов и SaaS-решений. Новый комплект средств разработки поможет обеспечить полный контроль управления полетами и передачу данных в режиме реального времени на почти 700 миллионах активных устройств с Windows 10 во всем мире. В рамках коммерческого сотрудничества DJI и Microsoft будут разрабатывать решения на основе Azure IoT Edge и сервисов Microsoft на базе ИИ, расширяя возможности в таких сферах, как сельское хозяйство, строительство, общественная безопасность и др.
• Microsoft объявила о совместном проекте с Qualcomm Technologies, Inc. по созданию комплекта средств разработки решений для компьютерного зрения с элементами ИИ на Azure IoT Edge. В рамках партнерства будет создано оборудование и программное обеспечение, необходимое для разработки решений Интернета вещей с применением камер. Разработчики смогут создавать решения на базе сервисов Azure Machine Learning и пользоваться преимуществом аппаратного ускорения, доступного на платформе Qualcomm® Vision Intelligence и в компонентах Qualcomm® AI Engine. Также будет обеспечена поддержка сервисов Azure, таких как машинное обучение, потоковая аналитика и когнитивные сервисы, которые можно загрузить из облака для локального запуска на устройствах.

Разработки в сфере данных и искусственного интеллекта

Используя возможности данных, машинного обучения и когнитивных сервисов, разработчики могут создавать и управлять решениями на основе ИИ.

• Microsoft объявила о выпуске Project Kinect for Azure, набора сенсоров, включающего в себя камеры с датчиками глубины нового поколения со встроенным компьютерным управлением, разработанного для реализации технологии ИИ в периферийных устройствах. Созданный на базе технологий Kinect, нашедших свое продолжение в HoloLens, Project Kinect for Azure предлагает новые сценарии для разработчиков ИИ-решений, призванных «осознавать» окружающее пространство. Благодаря сочетанию сенсора Time of Flight с дополнительными сенсорами в энергоэффективном форм-факторе, Project Kinect for Azure будет использовать все богатство возможностей Azure AI для существенного улучшения аналитики. Он может обеспечить тщательно проработанное отслеживание движений рук и сверхточное пространственное картирование.
• Комплект для разработчиков Speech Devices SDK, анонсированный сегодня, обеспечивает высочайшее качество обработки аудиоданных из источников многоканального сигнала для более точного распознавания речи с шумоподавлением, воспроизведением удаленного звука и другими функциями. С его помощью разработчики могут создать множество активизируемых голосом сценариев, таких как сквозные системы управления заказами, бортовые и домашние помощники, а также другие виды цифровых ассистентов.
• Обновления Azure Cosmos DB включают новые возможности, разработанные для поддержки как облачных, так и периферийных вычислений, а также доступ к базе данных через VNET для повышения безопасности.
• Предварительная версия архитектуры для глубоких нейронных сетей Project Brainwave теперь доступна на Azure и периферийных устройствах. Project Brainwave делает Azure самым быстрым облаком для запуска решений на базе ИИ в режиме реального времени. Теперь он также полностью интегрирован с Azure Machine Learning и поддерживает оборудование Intel FPGA и нейронные сети на базе ResNet50.
• Обновление Azure Cognitive Services включает в себя унифицированный сервис речи с улучшенным распознаванием и функцией преобразования текста в речь, поддерживающей настраиваемые голосовые модели и перевод. Благодаря этому, а также обновлению Custom Vision, каждый разработчик сможет без труда внедрять интеллектуальные функции в свои приложения.
• Microsoft делает Azure лучшей платформой для разработки диалоговых решений на базе искусственного интеллекта с возможностью их интеграции в любого агента. Обновления Bot Framework и Cognitive Services будут использоваться для создания нового поколения диалоговых ботов, способных поддерживать более содержательные беседы и имеющих опцию кастомизации голоса и личности для соответствия образу бренда.
• Предварительная версия Azure Search с интеграцией Cognitive Services. Эта новая функция сочетает ИИ с технологиями индексации для быстрого поиска информации и аналитических данных в визуальном или текстовом виде.

Мультисенсорные интерфейсы, объединяющие несколько устройств

Microsoft продемонстрировала интеллектуальные возможности смешанной реальности, которые способны распознавать и понимать окружающую людей обстановку, вещи, которые они используют, их действия и взаимоотношения.

• Microsoft Remote Assist обеспечивает пользователям возможность совместной работы в удаленном режиме благодаря видеозвонкам в смешанной реальности, обмену изображениями и аннотациям смешанной реальности. Сотрудники фронт-офиса могут делиться тем, что они видят, с экспертами в Microsoft Teams, ускоряя решение проблем и совместное выполнение задач.
• Microsoft Layout позволяет с помощью технологии смешанной реальности разрабатывать дизайн, учитывающий окружение. Импортируйте 3D-модели для создания дизайна комнаты в реальном масштабе, тестируйте дизайн с помощью высококачественных голограмм в физическом пространстве или в виртуальной реальности, делитесь и редактируйте вместе с другими участниками в режиме реального времени.

Современные инструменты и возможности для любой платформы на любом языке

Microsoft помогает разработчикам создавать решения для новой эры «умных» устройств на Azure, Microsoft 365 и других платформах, используя различные языки и среды.

• С помощью Azure Kubernetes Service (AKS) разработчики могут значительно упростить создание и запуск контейнерных решений, даже не имея обширного опыта работы с Kubernetes. AKS появится в широком доступе в ближайшие недели, служба будет интегрироваться с инструментами разработчиков, средствами DevOps, инструментами управления сетью и мониторинга на портале Azure, позволяя разработчикам сосредоточиться на написании кода, а не на объединении сервисов. Кроме того, Microsoft предоставляет поддержку устройств Azure IoT Edge в Kubernetes.
• Visual Studio IntelliCode предлагает интеллектуальные подсказки для улучшения качества и производительности кода, его предварительная версия также доступна в Visual Studio.
• Предварительная версия функционала Visual Studio Live Share позволяет разработчикам легко и безопасно сотрудничать в режиме реального времени с другими членами команды, которые могут редактировать и отлаживать сервисы с помощью имеющихся инструментов, таких как Visual Studio 2017 и VS Code. Разработчики могут использовать Live Share на любом языке для любого сценария, включая бессерверные, предназначенные для выполнения в облаке, или IoT-решения.
• Подтверждая свою приверженность системам с открытым кодом, Microsoft объявляет о начале сотрудничества с GitHub. Теперь пользователям GitHub доступны мощности Azure DevOps. Мы провели интеграцию Visual Studio App Center и GitHub, обеспечив разработчикам GitHub, создающим мобильные приложения для устройств на iOS и Android, возможность бесшовной оптимизации процессов DevOps прямо из интерфейса GitHub.
• Новый инструмент Microsoft Azure Blockchain Workbench упрощает разработку блокчейн-приложений путем соединения блокчейн-сети с поддержкой Azure с облачными сервисами, такими как Azure Active Directory, Key Vault и SQL Database, существенно сокращая время, необходимое для прототипирования.