Microsoft выпустила Counterfit - автоматизированный инструмент для предотвращения взлома

Microsoft выпустила автоматизированный инструмент с открытым исходным кодом Counterfit, призванный помочь компаниям оценить уровень кибербезопасности систем на базе машинного обучения. Проект Counterfit доступен на GitHub и включает инструмент командной строки и общий уровень автоматизации, позволяющий разработчикам моделировать кибератаки на системы ИИ.

Любой пользователь может загрузить инструмент и установить его через Azure Shell, запустить в браузере или локально в среде Anaconda Python.

Counterfit способен оценивать модели искусственного интеллекта в различных облачных средах, локально или на периферии. Инструмент не зависит от моделей ИИ, а также поддерживает разные типы данных, включая текст, изображения или общий ввод.

ИБ-специалисты могут использовать Counterfit для тестирования на проникновение и объединения систем искусственного интеллекта, сканирования систем искусственного интеллекта на предмет уязвимостей и регистрации атак на модели ИИ.

Counterfit представлял собой набор специальных скриптов для симуляции атак на различные ИИ-модели. Microsoft изначально применяла скрипты для внутренних тестов, однако со временем Counterfit развился в автоматизированный инструмент, позволяющий проводить тестовые атаки сразу на несколько ИИ-моделей.

Counterfit is flexible in three key ways:

1. Counterfit is environment agnostic—it can help assess AI models hosted in any cloud environment, on-premises, or on the edge.
2. Counterfit is model agnostic—the tool abstracts the internal workings of their AI models so that security professionals can focus on security assessment.
3. Counterfit strives to be data agnostic—it works on AI models using text, images, or generic input.

Counterfit uses workflows and terminology similar to popular offensive tools that security professionals are already familiar with, such as Metasploit or PowerShell Empyre. Security professionals can benefit from the tool in the following ways:

• Penetration testing and red teaming AI systems: The tool comes preloaded with published attack algorithms that can be used to bootstrap red team operations to evade and steal AI models. Since attacking AI systems also involves elements of traditional exploitation, security professionals can use the target interface and built-in cmd2 scripting engine to hook into Counterfit from existing offensive tools. Additionally, the target interface can allow for granular control over network traffic. We recommend using Counterfit alongside Adversarial ML Threat Matrix, which is an ATT&CK style framework released by MITRE and Microsoft for security analysts to orient to threats against AI systems.

• Vulnerability scanning for AI systems: The tool can help scan AI models using published attack algorithms. Security professionals can use the defaults, set random parameters, or customize them for broad vulnerability coverage of an AI model. Organizations with multiple models in their AI system can use Counterfit’s built-in automation to scan at scale. Optionally, Counterfit enables organizations to scan AI systems with relevant attacks any number of times to create baselines. Running this system regularly, as vulnerabilities are addressed, also helps to measure ongoing progress toward securing AI systems.
• Logging for AI systems: Counterfit also provides logging to record the attacks against a target model. Telemetry may help data science and engineering teams improve their understanding of failure modes in their AI systems.