Akamai запускає AI Inference Service та Agent Execution Environment
Akamai запускає AI Inference Service та Agent Execution Environment
Akamai (Nasdaq: AKAM) представила два базові продукти для свого стека ІІ: Akamai Inference та Akamai Agent Sandbox , які забезпечують кероване обслуговування моделей та ізольоване виконання для агентів ІІ в хмарі Akamai. Завдяки цим доповненням підприємства можуть створювати та налаштовувати власні або розміщені моделі з відкритою вагою, використовувати власні дані, запускати агентів у рамках встановлених обмежень та забезпечувати безпеку додатків, агентів та задіяної інфраструктури — все це на одній хмарній платформі з оптимізованою для ІІ інфраструктурою.
Ці можливості знаменують собою останній крок у стратегії Akamai в галузі ІІ: надання підприємствам надійної глобальної інфраструктури та сервісів, необхідних для обслуговування, запуску та захисту додатків та агентів ІІ у безпосередній близькості від користувачів та даних, від яких вони залежать. Akamai Inference та Akamai Agent Sandbox тепер додають керовані сервіси поверх цієї інфраструктури — основи, яка вже забезпечила багаторічні контракти для Akamai Cloud на загальну суму понад 14 мільярдів доларів. Цей імпульс підкреслює, як здатність Akamai використовувати як процесори, так і графічні процесори - разом з хмарним сховищем, мережевими та периферійними функціями у своїй взаємопов'язаній глобальній мережі - швидко стає надійною основою для клієнтів, що дозволяє створювати, розгортати та експлуатувати робочі навантаження.
Підприємствам, які впроваджують ІІ у виробництво, потрібно набагато більше, ніж просто моделі. Їм необхідна сервісна інфраструктура, доступ до даних, маршрутизація та управління, а також, у міру того, як агенти починають писати та виконувати власний код, чіткі обмеження на те, до чого цей код може отримати доступ. Більшість команд збирають ці компоненти від різних постачальників та самостійно забезпечують безпеку точок взаємодії. Akamai Cloud тепер надає підключене середовище ІІ, розміщене на континуумі обчислювальних ресурсів, яке простягається від щільних кластерів GPU і CPU в центральних регіонах до більш ніж 4350 периферійних точок, і захищене тим самим портфелем безпеки, який захищає багато найбільших світових онлайн-компаній.
«Ми впроваджуємо стратегію розвитку інфраструктури ІІ, засновану на припущенні, що основна увага та інвестиції підприємств будуть зосереджені на виведенні даних у рамках ІІ. Наші клієнти підтвердили цю тезу і підштовхнули нас до подальших кроків», - сказав Адам Карон, головний операційний директор та генеральний менеджер Akamai Cloud. «Вони хочуть створювати, запускати та захищати ІІ на одній платформі. Akamai Inference та Akamai Agent Sandbox додають рівні виведення та виконання, перетворюючи нашу інфраструктуру ІІ на повноцінний стек ІІ, а наш портфель рішень з безпеки захищає кожен її рівень. Akamai має унікальні можливості для того, щоб використовувати свій масштаб і розподіл для вирішення завдань масштабованого виведення даних в реальному часі та агентних робочих навантажень».
Доступ до моделей без роботи зі стеком: Akamai Inference
Akamai Inference надає підприємствам керований доступ до моделей з відкритими вагами та користувальницькими моделями через API, сумісні з OpenAI, що дозволяє переносити існуючі програми без переписування коду. Клієнти можуть вибрати безсерверну архітектуру, модель з оплатою за фактом використання або виділені розгортання. На момент запуску каталог включає 12 моделей з відкритою вагою, що містять від 8 мільярдів до 2,8 трильйонів параметрів, у тому числі NVIDIA™ Nemotron 3 Ultra, OpenAI™ gpt-oss-120b та Google™ Gemma 4, а також моделі вбудовування для генерації з доповненою реальністю.
Akamai Cloud надає доступ до керованих баз даних та об'єктного сховища, а також забезпечує безперебійне підключення до приватних та публічних хмарних платформ, дозволяючи моделям використовувати корпоративні дані. Потім Akamai Inference бере на себе оркестрацію, виконання моделей та автентифікацію. Запити обробляються у глобальній мережі Akamai, що знижує затримку та допомагає забезпечити високу доступність та стабільну продуктивність за умови збереження передбачуваного рівня обслуговування.
Надайте агентам місце для виконання дій: Akamai Agent Sandbox
Штучний інтелект все частіше виконує реальну роботу, від прийняття рішень від імені користувача до написання та запуску власного коду. Akamai Agent Sandbox надає розробникам безпечне місце для запуску і того, й іншого. Агенти працюють на Akamai Functions, а написаний ними код виконується у власному ізольованому середовищі, ізольованому від середовища виконання агента. Akamai Agent Sandbox, як компонент з відкритим вихідним кодом фреймворку Spin, використовує ізоляцію WebAssembly для встановлення чітких обмежень на обчислювальні ресурси, вихідні з'єднання з пам'яттю і можливості системи. Розробники можуть розгортати агентів, будучи впевненими у тому, де вони працюють і до чого мають доступ.
Ізоляція агентів зближується в декількох моделях, від мікровіртуальних машин з можливістю створення знімків та створення форків до контейнерів, керованих політиками, та функцій ізольованих за допомогою WebAssembly. Akamai дозволяє розробникам вибирати архітектуру, що відповідає їхньому робочому навантаженню, з інфраструктурою на базі NVIDIA з прискоренням та виділеними процесорами, керованими Kubernetes та Akamai Functions для безсерверного виконання на периферії та в ядрі. Akamai також планує додати можливості, що визначають, до чого можуть звертатися агенти та що може звертатися до них.
Розробляйте та налаштовуйте системи на ширшому парку графічних процесорів: NVIDIA Blackwell Ultra сьогодні, Vera Rubin – у майбутньому.
Компанія Akamai також розширила свій парк виділених графічних процесорів, включивши до нього кластери NVIDIA Blackwell Ultra і готує свою інфраструктуру до підтримки платформи NVIDIA Vera Rubin у наступному році. Тепер парк графічних процесорів Akamai включає NVIDIA RTX PRO™ 6000 Blackwell Server Edition® для виконання інференції з низькою затримкою та кластери NVIDIA Blackwell Ultra для підприємств, які хочуть створювати, налаштовувати та розміщувати моделі на контрольованій ними інфраструктурі. Akamai також готує свої центри обробки даних до підтримки платформи NVIDIA Vera Rubin у 2027 році.
Кожен вузол Blackwell Ultra із вісьма графічними процесорами має 288 ГБ пам'яті HBM3e на кожен графічний процесор, що в сумі становить 2,3 ТБ – цього достатньо для розміщення моделей передового класу. Архітектура Blackwell Ultra орієнтована на робочі навантаження, що вимагають такого обсягу пам'яті: масштабування під час тестування, логічне мислення та агентна робота із тривалим контекстом. Кластери графічних процесорів надають підприємствам контроль за версіями моделей та термінами старіння, а також працюють без обмежень швидкості або черг із загальним доступом. Вони підключаються до тих же служб даних, мережі та безпеки, що й решта хмари Akamai.
«Підприємствам не слід обирати між швидкістю та контролем при впровадженні ІІ у виробництво», — сказав Джон Александер, старший віце-президент з хмарних технологій в Akamai. «Деякі команди хочуть випустити функцію ІІ цього кварталу на керованій платформі. Іншим потрібні виділені графічні процесори для запуску передових відкритих моделей на власних умовах. Кожна команда, що працює з агентами, потребує захисту коду, який ці агенти пишуть. Akamai Cloud тепер підтримує всі ці функції на одній платформі, забезпечуючи вбудовану безпеку та стійкість до відмов».
Доступність
Akamai Agent Sandbox (через Spin SDK) та Akamai Inference доступні в бета-версії. Бета-версія Akamai Inference включає варіанти розгортання без серверів. Для отримання інформації про доступність кластерів з графічними процесорами NVIDIA B300 звертайтесь до відділу продажу Akamai.
Про компанію Akamai
Akamai - це хмарна компанія, яка забезпечує роботу та захист миру, керованого штучним інтелектом. Наша хмарна платформа розширює можливості високопродуктивних хмарних обчислень від ядра до периферії, дозволяючи організаціям створювати та масштабувати додатки ІІ нового покоління та забезпечуючи комплексну багаторівневу безпеку для захисту підприємств від мінливих кіберзагроз.
