Microsoft випустила Counterfit - автоматизований інструмент для запобігання злому

Microsoft випустила автоматизований інструмент з відкритим кодом Counterfit, покликаний допомогти компаніям оцінити рівень кібербезпеки систем на основі машинного навчання. Проект Counterfit доступний на GitHub і включає в себе інструмент командного рядка і загальний рівень автоматизації, що дозволяє розробникам моделювати кібератаки на системи ШІ.

Будь-хто може завантажити інструмент і встановити його через Azure Shell, запустити його в браузері або запустити локально в середовищі Anaconda Python.

Counterfit здатний оцінювати моделі ШІ в різних хмарних середовищах, локально або на межі. Інструмент не залежить від моделей штучного інтелекту, а також підтримує різні типи даних, включаючи текст, зображення або спільний вхід.

Фахівці з інформаційної безпеки можуть використовувати Counterfit для тестування на проникнення і об'єднання систем штучного інтелекту, сканування систем штучного інтелекту на наявність вразливостей і реєстрації атак на моделі ШІ.

Counterfit представляв собою набір спеціальних скриптів для імітації атак на різні моделі ШІ. Microsoft спочатку використовувала скрипти для внутрішніх тестів, але з часом Counterfit перетворився в автоматизований інструмент, що дозволяє проводити тестові атаки відразу на кілька моделей ШІ.

Counterfit є гнучким у трьох ключових способах:

1. Counterfit є агностичним для навколишнього середовища — він може допомогти оцінити моделі штучного інтелекту, розміщені в будь-якому хмарному середовищі, локально або на межі.
2. Counterfit є модельним агностиком — інструмент абстрагує внутрішню роботу їхніх моделей штучного інтелекту, щоб фахівці з безпеки могли зосередитися на оцінці безпеки.
3. Counterfit прагне бути агностиком даних — він працює на моделях штучного інтелекту, використовуючи текст, зображення або загальний вхід.

Counterfit використовує робочі процеси та термінологію, подібну до популярних наступальних інструментів, з якими вже знайомі професіонали з безпеки, таких як Metasploit або PowerShell Empyre. Фахівці з безпеки можуть скористатися інструментом наступними способами:

• Тестування на проникнення та червоне об'єднання систем штучного інтелекту: Інструмент поставляється з попередньо завантаженими опублікованими алгоритмами атак, які можна використовувати для завантаження червоних командних операцій для ухилення та крадіжки моделей ШІ. Оскільки атака на системи штучного інтелекту також включає елементи традиційної експлуатації, фахівці з безпеки можуть використовувати цільовий інтерфейс і вбудований механізм сценаріїв cmd2, щоб підключити Counterfit з існуючих наступальних інструментів. Крім того, цільовий інтерфейс може дозволити детальний контроль над мережевим трафіком. Ми рекомендуємо використовувати Counterfit поряд з Змагальна матриця загроз ML, яка є фреймворком стилю ATT&CK, випущеним MITRE і Microsoft для аналітиків безпеки для орієнтації на загрози проти систем ШІ.

• Сканування вразливостей для систем ШІ: Інструмент може допомогти сканувати моделі ШІ за допомогою опублікованих алгоритмів атак. Фахівці з безпеки можуть використовувати значення за замовчуванням, встановлювати випадкові параметри або налаштовувати їх для широкого охоплення вразливостей моделі ШІ. Організації з кількома моделями у своїй системі штучного інтелекту можуть використовувати вбудовану автоматизацію Counterfit для сканування в масштабі. За бажанням, Counterfit дозволяє організаціям сканувати системи штучного інтелекту з відповідними атаками будь-яку кількість разів, щоб створити базові лінії. Регулярне використання цієї системи, у міру усунення вразливостей, також допомагає вимірювати поточний прогрес у напрямку захисту систем штучного інтелекту.
• Журналювання для систем штучного інтелекту: Counterfit також забезпечує журналювання для запису атак на цільову модель. Телеметрія може допомогти командам з науки про дані та інженерії покращити своє розуміння режимів відмов у своїх системах штучного інтелекту.

Інші новини