Microsoft - лідер у звіті Gartner Magic Quadrant для платформ обробки даних та машинного навчання

Microsoft є лідером у рейтингу Gartner® Magic Quadrant™ цього року в галузі платформ для аналізу даних та машинного навчання. Azure AI надає потужну та гнучку комплексну платформу для прискорення інновацій у галузі науки про дані та машинного навчання, забезпечуючи при цьому управління підприємством, необхідне кожній організації в епоху штучного інтелекту. 

Microsoft п'ятий рік поспіль була названа лідером Gartner® Magic Quadrant™ для послуг для розробників хмарних ІІ , де Microsoft посіли перше місце за повнотою бачення. Microsoft раді такому визнанню з боку Gartner, оскільки продовжує допомагати клієнтам, від великих підприємств до гнучких стартапів, безпечно та у великому масштабі впроваджувати свої моделі та програми штучного інтелекту та машинного навчання у виробництво. 

Azure AI знаходиться в авангарді спеціалізованої інфраструктури штучного інтелекту, відповідальних інструментів штучного інтелекту та допомагає міжфункціональним групам ефективно співпрацювати з використанням операцій машинного навчання (MLOps) для генеративного штучного інтелекту та традиційних проектів машинного навчання. Машинне навчання Azure надає доступ до широкого вибору базових моделей у каталозі моделей штучного інтелекту Azure, включаючи останні випуски Phi-3, JAIS та GPT-4o, а також інструменти для точного настроювання або створення власних моделей машинного навчання. Крім того, платформа підтримує багату бібліотеку фреймворків, інструментів та алгоритмів з відкритим вихідним кодом, тому команди з обробки даних та машинного навчання можуть впроваджувати інновації по-своєму, і все це на надійній основі. 

Машинне навчання Azure допомагає організаціям швидко та ефективно створювати, розгортати та керувати високоякісними рішеннями ІІ, будь то створення великих моделей з нуля, виконання логічних висновків на основі попередньо навчених моделей, використання моделей як послуги або точне налаштування моделей для конкретних областей. Машинне навчання Azure працює на тій же потужній інфраструктурі штучного інтелекту, яка підтримує деякі з найпопулярніших у світі служб штучного інтелекту, таких як ChatGPT, Bing та служба Azure OpenAI. Крім того, сумісність машинного навчання Azure з ONNX Runtime та DeepSpeed ​​може допомогти клієнтам додатково оптимізувати час навчання та висновку для підвищення продуктивності, масштабованості та енергоефективності.

Незалежно від того, чи навчає ваша організація модель глибокого навчання з нуля, використовуючи платформи з відкритим вихідним кодом, або переносить існуючу модель в хмару, Машинне навчання Azure дозволяє групам фахівців з обробки даних масштабувати завдання з навчання з використанням хмарних еластичних обчислювальних ресурсів і плавно переходити від навчання до розгортання. Завдяки керованим онлайн-кінцевим точкам клієнти можуть розгортати моделі на потужних процесорах та графічних процесорах (GPU) без необхідності керувати базовою інфраструктурою, що заощаджує час та зусилля. Аналогічно, клієнтам не потрібно готувати або керувати інфраструктурою при розгортанні базових моделей як послуги з каталогу моделей ІІ Azure. Це означає, що клієнти можуть легко розгортати тисячі моделей та керувати ними у виробничих середовищах – від локальних до периферійних – для пакетного прогнозування та прогнозування у реальному часі.  

Операції машинного навчання (MLOps) та операції з великими мовними моделями (LLMOps) знаходяться на перетині людей, процесів та платформ. У міру масштабування проектів з обробки даних та ускладнення додатків ефективні інструменти автоматизації та спільної роботи стають важливими для досягнення високоякісних та відтворюваних результатів.  

Машинне навчання Azure – це гнучка платформа MLOps, створена для підтримки груп з обробки даних будь-якого розміру. Платформа дозволяє командам легко обмінюватися ресурсами машинного навчання та керувати ними, створювати повторювані конвеєри, використовуючи вбудовану сумісність з Azure DevOps та GitHub Actions, а також постійно відстежувати продуктивність моделі у робочому середовищі. З'єднувачі даних із джерелами Microsoft, такими як Microsoft Fabric і зовнішніми джерелами, такими як Snowflake і Amazon S3, ще більше спрощують MLOps. Взаємодія з MLflow також дозволяє вченим, які працюють з даними, легко масштабувати існуючі робочі навантаження від локального виконання до хмари та периферії, зберігаючи при цьому всі експерименти MLflow, запускати метрики, параметри та моделювати артефакти у централізованому робочому просторі. 

Потік підказок машинного навчання Azure допомагає оптимізувати весь цикл розробки генеративних додатків ІІ завдяки можливостям LLMOps, організовуючи потоки, що виконуються, що складаються з моделей, підказок, API, коду Python та інструментів для векторного пошуку в базі даних та фільтрації контенту. Потік підказок Azure AI можна використовувати разом із популярними платформами з відкритим вихідним кодом, такими як LangChain та Semantic Kernel, що дозволяє розробникам включати експериментальні потоки до потік підказок для масштабування цих експериментів та проведення комплексних оцінок. Розробники можуть спільно налагоджувати, спільно використовувати та виконувати ітерації додатків, інтегруючи вбудовані інструменти тестування, трасування та оцінки у свою систему CI/CD, щоб постійно переоцінювати якість та безпеку своїх додатків. Потім розробники можуть одним клацанням миші розгортати готові додатки та відстежувати потоки на предмет ключових показників, таких як затримка, використання токенів та якість генерації у робочому середовищі. Результатом є наскрізна спостереження та постійне вдосконалення. 

Такі принципи ІІ, як справедливість, безпека та прозорість, не є самовиконуючими. Ось чому Машинне навчання Azure надає вченим та розробникам даних практичні інструменти для впровадження відповідального ІІ прямо в робочий процес, незалежно від того, чи потрібно їм оцінити та налагодити традиційну модель машинного навчання на наявність упередженості, захистити базову модель від атак швидкого впровадження або відстежувати точність моделей , якість та безпека у виробництві. 

Панель управління «Відповідальний ІІ» допомагає вченим, які працюють з даними, оцінювати та налагоджувати традиційні моделі машинного навчання на предмет справедливості, точності та зрозумілості протягом усього життєвого циклу машинного навчання. Користувачі також можуть створити систему показників відповідального ІІ для документування та обміну подробицями продуктивності моделі із заінтересованими сторонами для прийняття більш обґрунтованих рішень. Аналогічно, розробники машинного навчання Azure можуть переглядати карти моделей та тести, а також виконувати власні оцінки, щоб вибрати найкращу базову модель для свого варіанту використання з каталогу моделей штучного інтелекту Azure. Потім вони зможуть застосувати підхід глибокоешелонованого захисту для зниження ризиків ІІ, використовуючи вбудовані можливості фільтрації контенту, аналізу свіжих даних та оперативного проектування за допомогою повідомлень системи безпеки. Інструменти оцінки в оперативному режимі дозволяють розробникам ітеративно вимірювати, покращувати та документувати вплив своїх заходів щодо зниження ризиків у масштабі, використовуючи вбудовані та користувальницькі метрики. Таким чином, групи фахівців з обробки та аналізу даних зможуть з упевненістю розгортати рішення, забезпечуючи прозорість для зацікавлених сторін. 

У сучасному світі, керованому даними, ефективна безпека, управління та конфіденційність даних вимагають від кожної організації повного розуміння своїх даних, систем штучного інтелекту та машинного навчання. Управління ІІ також потребує ефективної співпраці між різними зацікавленими сторонами, такими як ІТ-адміністратори, інженери з ІІ та машинного навчання, фахівці з обробки даних, а також фахівці з управління ризиками та забезпечення відповідності вимогам. Крім забезпечення спостереження за підприємством за допомогою MLOps та LLMOps, Машинне навчання Azure допомагає організаціям гарантувати, що дані та моделі захищені та відповідають найвищим стандартам безпеки та конфіденційності.  

За допомогою машинного навчання Azure ІТ-адміністратори можуть обмежувати доступ до ресурсів та операцій з облікових записів користувачів або груп, контролювати вхідні та вихідні мережеві з'єднання, шифрувати дані як під час передачі, так і при зберіганні, сканувати на наявність уразливостей, а також централізовано керувати політиками конфігурації та перевіряти їх за допомогою політики Azure. . Групи керування даними також можуть підключити машинне навчання Azure до Microsoft Purview, щоб метадані про активи ІІ, включаючи моделі, набори даних та завдання, автоматично публікувалися на карті даних Microsoft Purview. Це дозволяє вченим та інженерам даних спостерігати, як компоненти спільно використовуються та повторно використовуються, а також вивчати походження та трансформацію навчальних даних, щоб зрозуміти вплив будь-яких проблем у залежностях. Аналогічно, фахівці з ризиків та дотримання вимог можуть відстежувати, які дані використовуються для навчання моделей, як базові моделі налаштовуються або розширюються, а також де моделі використовуються в різних виробничих додатках, і використовувати це як доказ у звітах про відповідність та аудити. 

Нарешті, завдяки розширенню Azure Machine Learning Kubernetes, включеному в Azure Arc, організації можуть запускати робочі навантаження машинного навчання в будь-яких кластерах Kubernetes, гарантуючи розміщення даних, безпеку та відповідність вимогам конфіденційності у гібридних загальнодоступних хмарах та локальних середовищах. Це дозволяє організаціям обробляти дані там, де вони знаходяться, дотримуючись суворих нормативних вимог, зберігаючи при цьому гнучкість та контроль над своїми MLOps. Клієнти, які використовують методи федеративного навчання разом із машинним навчанням Azure та конфіденційними обчисленнями Azure, також можуть навчати потужні моделі на різноманітних джерелах даних, не копіюючи та не переміщуючи дані з безпечних місць.