+38/050/370-3627
+38/093/220-0872
+38/044/257-2444
Новости

Adobe открыла исходный код утилиты One-Stop Anomaly Shop (OSAS) для обнаружения и классификации аномалий

Adobe открыла исходный код утилиты One-Stop Anomaly Shop (OSAS) для обнаружения и классификации аномалий

Adobe открыла исходный код утилиты One-Stop Anomaly Shop (OSAS) для обнаружения и классификации аномалий в данных журналов безопасности. Исходники программы доступны на GitHub под лицензий Apache 2.0. Новинка, как утверждается, может быть легко модифицирована и проста в использовании.

OSAS использует машинное обучение и позволяет определить, какие функции или комбинации функций обеспечивают наибольшую пользу с точки зрения анализа в конкретном наборе данных. Как утверждают разработчики, новинка определяет, по какой причине то или иное событие является аномалией.

One-Stop Anomaly Shop предоставляет аналитикам и исследователям безопасности возможность быстро проверять журналы безопасности, даже если файл журнала безопасности имеет различные типы событий. OSAS самостоятельно помечает различные типы данных в логах, но позволяет и вручную задать правила разметки. Размеченные данные используются для машинного обучения.

One-Stop Anomaly Shop позволяет определить уникальность аномалии, связь её с конкретным событием, сетевым портом или адресом. Всё это позволяет улучшить защиту систем от внешних вторжений. Ведь аномалия может служить сигналом, что хакеры пытаются взломать систему.

Для удобства работы с OSAS предлагается контейнер Docker с поисковой системой Elasticsearch, индексатором Logstash и веб-интерфейсом Kibana. Само приложение написано на Python.

OSAS is a new Adobe Security open-source project. It provides a security intelligence toolset aimed at discovering anomalies in a given dataset. The tool implements and combines several of the Adobe Security Intelligence Team’s previous research, white papers, and other open-source projects.

OSAS is able to run “out-of-the-box” and enables researchers to: (a) experiment with data sets; (b) control how the data set is processed and how the features are combined; and (c) can help shorten the path to finding a balanced solution for detecting security threats.

The “One-Stop Anomaly Shop” (OSAS) project helps reduce this effect by implementing a two-step approach to data processing:

1. Initially raw data is consumed and labeled (tagged) using standard recipes for different field types such as multinomial, text, and numeric values. In this phase, complex features are also created by combining different attributes — just like in the well-established feature engineering process for classical ML. Additionally, the tagging process allows rule-based assignment of labels to leverage in-domain knowledge from experts.

2. Next, the labels are used as input features for generic (unsupervised) or targeted (supervised) ML algorithms. For this OSAS offers three standard options, but we intend to add more.

(you can find more information on “Hubble,” another Adobe open-source project, on GitHub)

The automatic learning/tagging function allows OSAS to be used for a diverse range of datasets and projects. The “Expert Knowledge Based” tagging component makes it highly efficient at targeting security threats and shifts the underlaying operation from unsupervised learning towards a semi-supervised one, similar to a “Risk Based Alerting” model.

From the technical perspective, OSAS is a command-line interface (CLI) toolset that provides the following functionality:

1. Automatically generates a custom pipeline configuration file by guessing field types and creating complex features in certain cases.

2. Creates a pre-trained model for the custom pipeline, based on the configuration file and raw dataset.

3. Applies the previously created model on previously unseen data.

The open-source repository contains the full source code of the project. We also provide a Dockerized version, equipped with a WebUI and integrated with Elastic Search OpenDistro, for fast visual analysis of the results.

Другие новости

Лучшая цена